Alineacion

En un experimento de Google DeepMind, los agentes de IA se dividieron en facciones y algunos denunciaron a colegas que hacían trampa. Este comportamiento podría tener implicaciones para la investigación de alineación.

Investigación en IA • MIT Technology Review

Un investigador de Anthropic renunció esta semana, advirtiendo que la empresa se apresura hacia una superinteligencia auto-perfeccionable mientras pone en riesgo la seguridad humana. La advertencia fue cofirmada por el propio responsable de alineación de Anthropic en lugar de ser desestimada, llegando justo cuando la compañía se prepara para una posible oferta pública inicial. Esta disidencia interna destaca las crecientes tensiones entre el escalado rápido de capacidades y los rigurosos protocolos de seguridad en la industria.

Seguridad y Alineación de IA • TechCrunch AI

Veinticinco medallistas Fields firmaron una carta abierta declarando una grave desalineación entre las empresas de IA y la comunidad matemática con respecto a la evaluación de benchmarks de LLM. Los investigadores argumentan que tratar las matemáticas como una métrica de puntuación competitiva para los modelos de IA socava el rigor académico e incentiva la resolución de problemas basada en atajos en lugar del descubrimiento genuino. La declaración insta a estándares de colaboración más estrictos para proteger la integridad matemática.

Investigación y Academia de IA • TechCrunch AI