Inference

Este video explica Jev, un nuevo modelo 'System 1' del exinvestigador de OpenAI Diogo Almeida que omite la generación de lenguaje tradicional para lograr una latencia y un costo drásticamente menores. Los espectadores aprenden por qué eliminar el lenguaje del pipeline de LLM podría permitir una nueva clase de inferencia de IA rápida y eficiente.

AI Models • Fireship

Amazon ha bloqueado al agente de IA Muse de Meta para que no use Amazon.com, informa TechCrunch. Amazon tiene sus propios modelos fundacionales y plataforma de inferencia, y no está bajo ninguna obligación legal de abrir sus puertas al agente de un competidor.

Agentes de IA • TechCrunch AI

Qualcomm lanzó dos nuevos procesadores para teléfonos inteligentes capaces de ejecutar un modelo de mezcla de expertos de 30 mil millones de parámetros directamente en el dispositivo. Este desarrollo acelera el cambio hacia la inferencia local de IA, reduciendo la latencia y la dependencia de la nube para aplicaciones móviles.

Computación en el borde • TechCrunch AI