La première preuve empirique des effets d’un outil d’IA générative sur un lieu de travail réel

Loin des spéculations sur la place de l’IA dans l’entreprise, des chercheurs de Stanford et du MIT ont étudié l’impact de l’introduction d’un outil fondé sur un modèle de langage de grande taille dans un centre d’assistance en ligne. Les résultats éclairent la place que l’IA occupera très rapidement dans un nombre croissant d’entreprises. 

 

Les effets de l’IA générative sur l’organisation des entreprises, le contenu et le volume de travail humain font l’objet d’un nombre croissant de spéculations. Cependant, aucune étude n’avait jusqu’à présent mesuré l’impact de l’IA générative sur la productivité dans des lieux de travail réels. De telles études sont importantes car l’impact de l’IA sur la productivité peut varier dans le temps et interagir avec le niveau d’expérience ou d’expertise des collaborateurs. De plus, les technologies prometteuses en laboratoire peuvent avoir des effets limités dans la pratique. Ainsi, Il est maintenant démontré que ChatGPT produit des informations fausses ou trompeuses de manière imprévisible. Au-delà de cet exemple, divers outils d’IA générative ont donné de bons résultats en laboratoire, mais l’enthousiasme suscité par leur potentiel a été tempéré par la crainte que ces outils soient sujets à des « hallucinations » et qu’ils produisent des informations cohérentes mais inexactes. Ces problèmes récurrents interrogent la capacité des outils exploitant l’IA générative à fonctionner correctement dans des contextes réels complexes. Enfin, la nature et le volume des investissements complémentaires nécessités par l’implémentation de l’IA en entreprise sont encore mal cernés. 

 

L’utilisation de l’IA générative dans les centres d’assistance 

L’étude empirique1 menée Erik Brynjolfsson (Stanford Digital Economy Laboratory), Danielle Li et Lindsey R. Raymond (MIT Sloan School of Management) auprès d’une grande entreprise américaine est donc une première particulièrement riche d’enseignements. Ces chercheurs se 

sont intéressés à l’adoption d’un outil d’IA générative fournissant des conseils conversationnels aux agents d’assistance à la clientèle d’une société de logiciels d’entreprise, figurant au classement Fortune 500, et spécialisée dans les logiciels de processus d’entreprise pour les PMEs. Cette entreprise emploie une multitude d’agents d’assistance technique par chat. La majorité de ces agents travaillent dans des bureaux situés aux Philippines, un plus petit groupe travaillant aux États-Unis. D’un endroit à l’autre, les agents effectuent un travail assez uniforme : répondre aux questions d’assistance technique des PMEs basées aux États-Unis. Les chats sont attribués de manière aléatoire et les sessions d’assistance sont relativement longues, d’une durée moyenne de 40 minutes, la majeure partie de la conversation est dédiée au diagnostic du problème technique sous-jacent. Le travail exige une combinaison de connaissances détaillées des produits, de compétences en matière de résolution de problèmes et une capacité à entretenir une bonne relation avec des clients mécontents. 

Les centres d’assistance en ligne sont caractérisés par des ratio élevés de turnover, les estimations du secteur suggèrent que 60 % des agents de ces centres quittent leur poste chaque année. De plus, et malgré des coûts importants de formation, les écarts de productivité entre les agents restent élevés. Dans ce contexte, un nombre croissant de centres d’assistance espère trouver dans les outils de l’IA générative les moyens de réduire leurs charges de fonctionnement et accroitre la satisfaction de leurs clients. Plus généralement, le service à la clientèle est devenu le secteur où le taux d’adoption de l’IA est le plus élevé. 

 

Le fonctionnement des modèles de langage de grande taille 

L’outil d’IA générative étudié repose sur un modèle de langage de grande taille. Celui-ci a pour objet de capter et de diffuser les modèles de comportement caractérisant les agents les plus productifs. Les modèles de langage de grande taille sont des modèles de réseaux neuronaux conçus pour traiter des données séquentielles. Il est possible d’entraîner un tel modèle en lui donnant accès à un vaste corpus de texte (tel que Wikipédia, des livres numérisés ou des parties d’internet) et en utilisant ce texte d’entrée pour lui apprendre à prédire le mot suivant dans une séquence, compte tenu de ce qui a précédé. Cette connaissance de la cooccurrence statistique des mots permet aux modèles de langage de grande taille de générer des textes nouveaux grammaticalement corrects et sémantiquement significatifs. 

Les modèles de langage de grande taille exploitent deux innovations : l’encodage positionnel et l’auto-attention. Les encodages positionnels gardent la trace de l’ordre dans lequel un mot apparaît dans une phrase donnée et autorisent une meilleure modélisation des dépendances sans tenir compte de leur distance dans les séquences d’entrée ou de sortie. L’auto-attention attribue des poids d’importance à chaque mot dans le contexte de l’ensemble du texte d’entrée. Ceci conduit à une meilleure représentation de l’importance sémantique de chaque mot. Les modèles de langage de grande taille sont bien adaptés à la génération de données séquentielles. Une fois entrainés, ils peuvent produire des textes, de la musique, des codes informatiques ou jouer aux échecs. 

Les outils IA fondés sur les modèles de langage de grande taille n’ont pas besoin d’instructions explicites en entrée. Au lieu de cela, Ils exploitent de grandes quantités de données générées par l’homme afin de reconnaître des modèles. Sur la base de ces derniers, ces outils sont en mesure de faire des déductions, de générer des sorties originales ou de résumer les données en entrée. Ces outils peuvent apprendre à effectuer des tâches même en l’absence d’instructions, y compris des tâches nécessitant des connaissances tacites qui, auparavant, ne pouvaient être acquises que par l’expérience vécue. Dit différemment, ces outils infèrent des instructions des exemples utilisés en entrée. Il est ainsi possible pour ces outils d’effectuer des tâches non-routinières et ceci constitue une innovation de rupture dans l’industrie du software. 

Du point de vue des concepteurs de tels outils, les échanges entre un client et son agent d’assistance sont modélisables sous la forme d’une série de problèmes de correspondance dans lesquels on recherche une séquence optimale d’actions. Deux principaux types de résultats doivent être générés : 1) des suggestions en temps réel sur la manière dont les agents devraient répondre aux clients et 2) des liens vers une documentation technique susceptible d’apporter des compléments pertinents de réponse. Le système étudié par Brynjolfsson, Li et Raymond a été entraîné sur un vaste historique de conversations client-agent d’assistance. Ces échanges ont été étiquetés suivant les caractéristiques du problème à résoudre, le temps de traitement du problème et la qualité du résultat obtenu. En distinguant les échanges réussis de ceux qui ne le sont pas, l’outil apprend implicitement les différences caractérisant les agents hautement qualifiés des autres d’agents d’assistance. Les meilleures pratiques sont ainsi encodées et utilisées prioritairement comme modèle de réponse aux demandes des clients. 

 

Les résultats de l’étude 

Les résultats de l’étude menée par Brynjolfsson, Li et Raymond sont nombreux. Ils nous éclairent sur la place de l’IA dans l’entreprise et les gains potentiels associés à ces outils. 

Tout d’abord, les agents d’assistance ont suivi les recommandations de l’IA dans 38 % des cas. L’aide de cet outil onéreux et compliqué à mettre en œuvre est donc acceptée dans à peine plus d’un tiers des situations. C’est peu et ce résultat interpelle autant sur la psychologie des agents d’assistance que sur la pertinence des recommandations émises par l’IA. Quelles sont les raisons qui incitent les agents d’assistance à repousser cette aide ? Sont-ils guidés par le besoin d’affirmer leur compétence et la volonté de trouver seul la solution au problème posé par le client ? Les recommandations de l’IA sont-elles dénuées d’intérêt dans un grand nombre de cas ? Les auteurs de l’étude ne nous informent pas sur les raisons du rejet des recommandations de l’IA mais la limite actuelle la plus importante de l’introduction de l’IA dans l’entreprise est soulignée : dans deux tiers des situations, les salariés rejettent l’aide de l’IA et favorisent leurs propositions de solution. 

Ensuite, l’introduction de l’outil IA conduit à une augmentation de 13.8% du nombre d’échanges qu’un agent d’assistance est capable de mener avec succès chaque heure. Ces gains profitent de manière disproportionnée aux agents d’assistance les moins expérimentés et les moins qualifiés. Cette augmentation reflète l’évolution de trois composantes de la productivité : une diminution du temps nécessaire à un agent pour traiter chaque échange avec un client, une augmentation du nombre d’échanges avec des clients chaque heure, (les agents peuvent traiter plusieurs appels à la fois), et une légère augmentation de la part des échanges qui sont résolus avec succès. Il semble que l’IA permet d’abord et avant tout, d’écourter le temps nécessaire au diagnostic du problème technique sous-jacent à l’embarras rencontré par le client. Toutefois, la rapidité de ce diagnostic ne s’accompagne pas toujours de préconisations pertinentes pour le client. 

Enfin, l’IA améliore significativement la façon dont les clients traitent les agents d’assistance, mesurée par les sentiments exprimés dans leurs messages de chat. Ce changement peut être associé à d’autres changements organisationnels : le turn-over diminue, en particulier celui des nouveaux employés, et les clients sont moins susceptibles de demander à parler au superviseur des agents d’assistance. Les recommandations de l’IA permettent donc de pacifier les échanges entre les agents d’assistance et des clients mécontents ou déçus en raison des problèmes qu’ils rencontrent. L’IA contribue donc à l’amélioration de la qualité des conditions de travail dans les centres d’appel. 

 

Conclusion 

L’étude menée par Brynjolfsson, Li et Raymond exemplifie les apports concrets de l’IA en entreprise. Nous constatons que la limite principale aux gains potentiels de l’IA concerne sont adoption par les salariés de l’entreprise. Ainsi, plutôt que de se demander si l’IA remplacera demain la majeure partie des collaborateurs, il conviendrait de s’interroger sur les actions à entreprendre pour favoriser la cohabitation de l’une et des autres pour le plus grand bénéfice de tous. Par ailleurs, l’étude montre que l’introduction de l’IA profite d’abord et avant tout aux salariés les moins expérimentés ou les moins qualifiés. Ceux-ci trouvent dans l’IA un moyen d’adopter rapidement des bonnes pratiques. L’IA ne se substitue pas à la compétence humaine, sur laquelle elle s’appuie tout entière. Rappelons à cet égard que l’outil étudié est entrainé grâce à l’historique des conversations entre les clients et les agents d’assistance. Ainsi, l’IA contribue à un partage efficace des connaissances entre les collaborateurs, à la fois parce qu’elle peut capturer des connaissances tacites auparavant difficiles à articuler pour les managers et parce qu’elle peut fournir des recommandations en temps réel plus facilement qu’un manager occupé. 

 

Une tribune rédigée par: Eric BRAUNE – Professeur associé – OMNES EDUCATION RESEARCH CENTER & Pascal MONTAGNON – Directeur de la Chaire de Recherche Digital, Data Science et Intelligence Artificielle – OMNES EDUCATION

 

<<< À lire également: IA offensive et IA défensive : les défis exponentiels de la cybersécurité. >>>