Alignement

Dans une expérience de Google DeepMind, des agents IA se sont divisés en factions et certains ont dénoncé des collègues tricheurs. Ce comportement pourrait avoir des implications pour la recherche sur l'alignement.

Recherche en IA • MIT Technology Review

Un chercheur d'Anthropic a démissionné cette semaine, alertant sur la course de l'entreprise vers une superintelligence auto-améliorante tout en prenant des risques avec la sécurité humaine. Cet avertissement a été cosigné par le responsable de l'alignement d'Anthropic lui-même, au lieu d'être rejeté, et tombe alors que l'entreprise se prépare à une éventuelle introduction en bourse. Cette dissidence interne souligne les tensions grandissantes entre la montée en puissance rapide des capacités et les protocoles de sécurité rigoureux dans le secteur.

Sécurité et alignement de l'IA • TechCrunch AI

Vingt-cinq lauréats de la médaille Fields ont signé une lettre ouverte déclarant un grave désalignement entre les entreprises d'IA et la communauté mathématique concernant l'évaluation des LLM. Les chercheurs soutiennent que traiter les mathématiques comme une métrique de score compétitive pour les modèles d'IA érode la rigueur académique et incite à la résolution de problèmes par raccourcis plutôt qu'à la découverte véritable. La déclaration appelle à des normes de collaboration plus strictes pour protéger l'intégrité mathématique.

Recherche et milieu universitaire de l'IA • TechCrunch AI