Vous trouverez ici l'audio, la vidéo et la transcription. Voici le résumé de l'épisode :

À 22 ans, Brendan Foody est à la fois le plus jeune invité de Conversations with Tyler et le plus jeune fondateur de Unicorn. Son entreprise, Mercor, embauche des experts pour former des modèles d'IA révolutionnaires – des poètes qui évaluent les vers aux économistes qui créent des cadres d'évaluation – et est devenue l'une des startups à la croissance la plus rapide de l'histoire.

Tyler et Brendan expliquent pourquoi Mercor paie les poètes 150 $ de l'heure, pourquoi les laboratoires d'IA ont plus besoin de grilles d'évaluation que de texte brut, si nous devrions consacrer les normes esthétiques des époques passées plutôt que celles actuelles, à quelle vitesse les modèles s'améliorent pour des tâches commercialement intéressantes, combien de temps il faudra à l'IA pour battre Cass Sunstein, le passage imminent aux travailleurs du savoir créant des environnements RL plutôt que des analyses répétitives, comment mener des entretiens sans compter sur les vibrations. Il optimise les lettres de motivation de chacun, multiplie par 100 000 la bourse Thiel, ce que son empire des beignets de 8e année lui a appris pour éliminer la concurrence, le lien entre la dyslexie et l'entrepreneuriat, les restaurants et les rencontres à San Francisco, les prochaines étapes de Mercor, et plus encore.

Et un extrait :

COWEN : Il n'y a pas si longtemps, j'ai vu une annonce en ligne de Mercor qui disait 150 $ de l'heure pour un poète. Pourquoi payer un poète 150 $ de l'heure ?

ÉPICERIES: C’est un point de départ phénoménal. En guise d'informations générales sur les activités de l'entreprise, nous engageons tous des experts pour enseigner les principaux modèles d'IA. Si l'un des laboratoires d'IA souhaite apprendre à ses modèles à être meilleurs en poésie, nous trouvons certains des meilleurs poètes du monde qui peuvent aider à mesurer le succès en créant des évaluations et des exemples de la façon dont le modèle doit se comporter.

L’une des raisons pour lesquelles nous pouvons payer si cher pour attirer les meilleurs talents est que si nous avons ces poètes phénoménaux qui enseignent autrefois à des modèles comment faire les choses, nous pouvons alors appliquer ces compétences et ces connaissances à des milliards d’utilisateurs, ce qui nous permet de payer 150 $ de l’heure pour certains des meilleurs poètes du monde.

COWEN : Les poètes évaluent-ils la poésie des modèles ou évaluent-ils l’écriture ? Que notent-ils ?

ÉPICERIES: Selon le projet, cela peut être une combinaison. Un exemple pourrait ressembler à un professeur en cours d’anglais créant une rubrique pour évaluer un essai ou un poème qu’il pourrait proposer aux étudiants. Nous pourrions demander à un poète de créer une rubrique pour évaluer dans quelle mesure le modèle crée la poésie souhaitée et quelle réponse serait souhaitable pour un utilisateur particulier.

COWEN : Comment savoir si on a un bon poète, n'est-ce pas ? Super Poète?

ÉPICERIES: C’est là le grand défi, surtout dans ces domaines très subjectifs des arts libéraux. C'est en grande partie une question de goût, où vous voulez un consensus de la part de diverses personnes exceptionnelles qui sont convaincues que chacune d'elles fait du bon travail, mais vous ne voulez probablement pas trop de consensus parce que vous voulez aussi obtenir tous ces scénarios extrêmes sur ce que font les modèles qui pourraient être un peu différents de la norme.

COWEN : Vous voulez donc que les critiques de vos poètes aient des opinions quelque peu différentes.

ÉPICERIES: Exactement un certain montant, mais toujours une réponse qui correspond à ce que la plupart des utilisateurs souhaitent voir dans leurs réponses modèles.

COWEN : Êtes-vous déjà tenté de demander aux modèles d’IA : « Quelle est la qualité des évaluateurs de poètes ? »

[laughter]

ÉPICERIES: Nous faisons cela souvent. Nous faisons beaucoup de cela. Ici, nous demandons aux gens de créer une rubrique ou une évaluation pour mesurer le succès, puis de laisser les modèles donner leur point de vue. Cela peut en fait vous donner un petit aperçu, surtout si vous avez un expert : des dizaines de milliers de personnes travaillent sur notre plateforme à tout moment. Il y a souvent quelqu’un qui est fatigué ou qui ne fait pas beaucoup d’efforts au travail, et les modèles peuvent nous aider à le reconnaître.

Et:

COWEN : Disons que c'est de la poésie. Disons que vous pouvez l'obtenir gratuitement et obtenir ce que vous voulez de l'univers connu. Quelles données permettront aux modèles travaillant dans votre entreprise de devenir meilleurs en poésie ?

ÉPICERIES: Je pense que ce sont des gens qui ont un goût phénoménal pour ce que veulent voir les utilisateurs des produits finaux, les utilisateurs de ces modèles pionniers. Quelqu'un qui comprend que lorsque le modèle reçoit une invite, les gens seront étonnés. La manière dont nous définissons les caractéristiques de ces réactions est cruciale.

Probablement plus que de simples poètes qui ont passé beaucoup de temps à l’école, nous voudrions des gens qui savent écrire des œuvres qui trouvent un large écho auprès des lecteurs, qui suscitent une popularité et un intérêt généralisés et qui génèrent un impact, pour ainsi dire, quelle que soit la dimension que nous définissons dans la poésie.

COWEN : Mais quelles sont exactement les données dont vous avez besoin ? Est-ce une cassette d'eux assis à une table, d'étudiants arrivant, apportant leurs poèmes, la personne disant : « J'aime celui-ci, voici pourquoi, voici pourquoi pas. Est-ce la bande vidéo ou s'agit-il de rapports écrits ? Qu'est-ce que c'est chose Cela vous parviendra par la poste lorsque vous réaliserez votre souhait ?

ÉPICERIES: Le meilleur analogue est une rubrique. Si vous en avez –

COWEN : Une grille de notation ?

ÉPICERIES: Une rubrique pour la notation. Si le poème évoque cette idée qui surgira inévitablement dans cette invite, ou est l'élément d'une très bonne réponse, nous récompensons le modèle avec un certain montant. Si tel est le cas, nous pénalisons le modèle. S’il formule la réponse de cette façon, nous le récompenserons. Ce sont des choses qui ressemblent à bien des égards à la façon dont un professeur crée une grille d’évaluation pour évaluer un essai ou un poème.

La poésie est définitivement plus difficile parce que j'ai l'impression qu'elle est sans limites. La plupart des dissertations que vous noterez de la part de vos étudiants constitueront une invite relativement volumineuse dans laquelle vous pourrez probablement créer une rubrique qui pourra être facilement appliquée à tout le monde. En revanche, en cours de poésie, je ne peux qu’imaginer à quel point il est difficile de créer et d’utiliser une grille d’évaluation précise. Les personnes qui y parviennent le mieux sont certainement extrêmement précieuses et passionnantes.

COWEN : Pour rendre les choses vraiment ringardes, Immanuel Kant dit dans sa troisième critique : Critique du jugementIl a dit qu’essentiellement, le goût est ce qui ne peut être saisi dans une rubrique. Si les données que vous recherchez sont une rubrique et que le goût compte vraiment, Kant s’est peut-être trompé, mais comment concilier la situation dans son ensemble ? Êtes-vous circulaire en faisant appel au goût et en souhaitant d’une manière ou d’une autre un déjeuner gratuit venant de l’extérieur du modèle ?

ÉPICERIES: Là Sont Ils pourraient utiliser d’autres types de données si elles ne peuvent pas être capturées dans une catégorie. Une autre méthode est RLHF, où vous pouvez demander au modèle de générer deux réponses similaires à ce que vous pourriez voir dans ChatGPT, puis laisser les personnes ayant beaucoup de goût choisir la réponse qu'elles préfèrent, en le faisant plusieurs fois jusqu'à ce que le modèle soit capable de comprendre leurs préférences. Cela pourrait aussi être une façon d’aborder le sujet.

Vraiment intéressant et définitivement recommandé. Notez que la conversation a été enregistrée en octobre (nous avions une longue file d’attente), donc certaines parties semblent un peu datées. Et voici Hollis Robbins sur les LLM et la poésie.

Le message Mon excellente conversation avec Brendan Foody est apparu en premier sur Marginal REVOLUTION.

#Mon #excellente #conversation #avec #Brendan #Foody