Alinhamento

Em um experimento do Google DeepMind, agentes de IA se dividiram em facções e alguns denunciaram colegas que estavam trapaceando. Esse comportamento pode ter implicações para a pesquisa de alinhamento.

Pesquisa em IA • MIT Technology Review

Um pesquisador da Anthropic renunciou esta semana, alertando que a empresa está correndo em direção à superinteligência autoaperfeiçoável enquanto arrisca a segurança humana. O alerta foi copassinado pelo próprio líder de alinhamento da Anthropic, em vez de ser descartado, divulgado justamente quando a empresa se prepara para um possível IPO. Esse desacordo interno destaca as tensões crescentes entre o escalonamento rápido de capacidades e os rigorosos protocolos de segurança na indústria.

Segurança e Alinhamento de IA • TechCrunch AI

Vinte e cinco laureados com a Medalha Fields assinaram uma carta aberta declarando um grave desalinhamento entre empresas de IA e a comunidade matemática em relação à avaliação de LLMs. Os pesquisadores argumentam que tratar a matemática como uma métrica de pontuação competitiva para modelos de IA mina o rigor acadêmico e incentiva a resolução de problemas baseada em atalhos em detrimento da descoberta genuína. A declaração pede padrões de colaboração mais rigorosos para proteger a integridade matemática.

Pesquisa e Academia de IA • TechCrunch AI