Inferencia

Este vídeo explica o Jev, um novo modelo 'System 1' do ex-pesquisador da OpenAI Diogo Almeida, que pula a geração tradicional de linguagem para obter latência e custo drasticamente menores. Os espectadores aprendem por que remover a linguagem do pipeline de LLM poderia permitir uma nova classe de inferência de IA rápida e eficiente.

AI Models • Fireship

A Amazon bloqueou o agente de IA da Meta, Muse, de usar o Amazon.com, informa a TechCrunch. A Amazon tem seus próprios modelos de fundação e plataforma de inferência, e não está sob nenhuma obrigação legal de abrir suas portas para o agente de um concorrente.

Agentes de IA • TechCrunch AI

A Qualcomm lançou dois novos processadores para smartphones capazes de executar um modelo de mistura de especialistas com 30 bilhões de parâmetros diretamente no dispositivo. Esse desenvolvimento acelera a mudança para inferência de IA local, reduzindo a latência e a dependência da nuvem para aplicativos móveis.

Computação de Borda • TechCrunch AI