OpenAI a transformé sa bibliothèque interne Habitat en une plateforme de stockage distribuée à l'échelle mondiale capable de gérer...
22 millions de requêtes par seconde pour plus d'un milliard d'utilisateurs de ChatGPT. La refonte technique répond aux défis de latence et de cohérence inhérents au service d'applications d'IA à l'échelle grand public. L'architecture fournit un modèle pour gérer d'énormes charges de travail concurrentes dans les systèmes d'IA en production.
Brief source
OpenAI a transformé sa bibliothèque interne Habitat en une plateforme de stockage distribuée à l'échelle mondiale capable de gérer 22 millions de requêtes par seconde pour plus d'un milliard d'utilisateurs de ChatGPT. La refonte technique répond aux défis de latence et de cohérence inhérents au service d'applications d'IA à l'échelle grand public. L'architecture fournit un modèle pour gérer d'énormes charges de travail concurrentes dans les systèmes d'IA en production.