Les grands modèles linguistiques (LLM) sont de plus en plus promus en tant que tuteurs pédagogiques, mais la plupart des évaluations se concentrent sur des domaines comportant une seule vérité fondamentale. Cependant, de nombreuses disciplines dépendent du jugement : raisonner, peser les ambiguïtés et parvenir à des conclusions défendables. La loi constitue un test difficile. Nous avons mené une évaluation aveugle du tutorat à réponse courte dans les cours contractuels auprès de seize professeurs de droit américains. Les participants ont créé 40 questions représentatives, rédigé des réponses et évalué 2 918 comparaisons anonymisées entre les réponses humaines et celles du LLM. Les professeurs ont bien mieux noté les LLM que leurs collègues (taux de réussite moyen = 75,33 %), les modèles ayant des performances similaires à celles des meilleurs professeurs. Les réponses LLM étaient également rarement considérées comme nuisibles (3,53 % contre 12,06 % pour les professeurs). Les préférences de réponse LLM étaient cohérentes entre les évaluateurs et reflétaient les normes professionnelles communes. Notre évaluation peut être étendue de manière fiable à des modèles supplémentaires en utilisant un LLM distinct en tant que juge. Cela fait des accords d’experts une méthode efficace et évolutive pour évaluer les tuteurs en IA dans les domaines à forte intensité décisionnelle.

“loin”. C'est ce que révèle un nouvel article d'Alejandro Salinas et al. dehors. À propos d'Andrew Curran. Et à propos de John Chamberlain :

Les outils d'intelligence artificielle (IA) et les grands modèles linguistiques (LLM) sont capables de produire en masse des articles universitaires sur la finance qui sont presque impossibles à distinguer des recherches rédigées par des humains, selon une nouvelle étude publiée dans le Journal of Economic Literature.

Allez les gars, préparez-vous. Je sais qu'il est difficile d'admettre que votre capital humain a perdu de la valeur, mais le moment est venu. La productivité, en particulier, ne constitue plus autant un avantage comparatif dans le monde universitaire. Vous rencontrerez peut-être la question « Mais je sais quelles questions poser », mais je vous implore de trouver une solution d’équilibre. À combien s’élève le salaire compensatoire pour le simple fait de poser des questions ?

Bien sûr, la vie académique et les projets continueront, mais la véritable récompense reviendra à ceux qui réaliseront des projets nouveaux, innovants et auparavant impossibles avec l'IA.