Infraestructura De Ia

Un profesor de finanzas de Wharton evaluó el impacto económico de la IA y descubrió un 'hecho notable': que un puñado de empresas están realizando inversiones masivas en infraestructura, lo que plantea interrogantes sobre una posible burbuja. El artículo explora los riesgos y lo que está en juego en la apuesta de un billón de dólares de la IA.

Negocios • MIT Technology Review

La decodificación especulativa de vLLM en GPU de AMD puede verificar múltiples tokens candidatos en una sola pasada, mejorando el rendimiento de tokens de salida. Los resultados varían según el método de borrado, la familia de modelos y la carga de trabajo.

Infraestructura • Hacker News

Este tutorial práctico presenta cinco herramientas gratuitas y de código abierto, incluidas Ollama, 9router, Headroom, Diffy y OpenHands, que pueden reemplazar costosas suscripciones de IA y reducir los costos de tokens. Los espectadores aprenderán cómo configurar y utilizar estas herramientas para ejecutar modelos locales, enrutamiento, gestión de memoria y flujos de trabajo de agentes, lo que permite una infraestructura de IA rentable.

Developer Tutorial • Fireship

Microsoft planea ampliar su capacidad de centros de datos de 12 gigavatios a más de 38 gigavatios para 2032, destinando aproximadamente un tercio de ese crecimiento específicamente a chips centrados en IA. Esta enorme expansión de infraestructura subraya la acelerada demanda energética del despliegue de IA a gran escala y señala un compromiso de capital a largo plazo para el dominio computacional.

Infraestructura • Techmeme

Massachusetts promulgó nuevas restricciones que exigen a los centros de datos asegurar compromisos de energía limpia antes de ampliar su capacidad, convirtiéndose en el tercer estado en imponer tales mandatos ambientales en tres meses. La regulación impacta directamente la planificación de infraestructura de IA, obligando a los proveedores a alinear la escalabilidad computacional con los plazos de adquisición de energía renovable.

Infraestructura • TechCrunch AI