Par Christoph Riedl et Ben Weidmann :
Nous introduisons un nouveau cadre théorique bayésien de réponse aux éléments pour quantifier la synergie entre les humains et l'IA, en séparant les capacités individuelles et collaboratives tout en contrôlant la difficulté des tâches dans des environnements interactifs. Contrairement aux benchmarks statiques standards, notre approche modélise les performances humaines et IA comme un processus conjoint, capturant à la fois les facteurs spécifiques à l'utilisateur et les fluctuations actuelles. Nous validons le cadre en l'appliquant aux données de référence humain-IA (n = 667) et trouvons des synergies significatives. Nous montrons que la capacité à collaborer est différente de la capacité à résoudre des problèmes individuellement. Les utilisateurs qui sont mieux à même de déduire et de s'adapter aux points de vue des autres réussissent mieux en collaboration avec l'IA, mais pas lorsqu'ils travaillent seuls. De plus, les fluctuations momentanées de la perspective influencent la qualité des réponses de l’IA, soulignant le rôle des facteurs utilisateur dynamiques dans la collaboration. En introduisant un cadre de principe pour analyser les données issues de la collaboration homme-IA, les benchmarks interactifs peuvent mieux compléter les benchmarks actuels à tâche unique et les méthodes d’évaluation des foules. Ce travail éclaire la conception et la formation de modèles de langage qui vont au-delà des références d'invite statiques pour parvenir à une collaboration adaptative et socialement consciente avec des partenaires humains diversifiés et dynamiques.
Voici une tempête de tweets utiles sur le travail. Je n'aime pas la façon dont le résumé est rédigé, j'insisterais sur ces phrases : “Nous montrons que la capacité à collaborer est différente de la capacité à résoudre des problèmes individuellement. Les utilisateurs qui sont mieux capables de déduire et de s'adapter aux points de vue des autres obtiennent des performances de collaboration supérieures avec l'IA – mais pas lorsqu'ils travaillent seuls. De plus, les fluctuations momentanées de la prise de perspective influencent la qualité de la réponse de l'IA, soulignant le rôle des facteurs dynamiques de l'utilisateur dans la collaboration.”
L'article Quantifier la synergie entre les humains et l'IA est apparu en premier sur Marginal REVOLUTION.
#Quantifier #synergie #humainIA
