Cum scalează OpenAI stocarea pentru un miliard de utilizatori ChatGPT pe Azure Cosmos DB

Echipa de inginerie a OpenAI a dezvăluit detalii tehnice aprofundate despre Habitat, platforma internă de stocare care deservește peste un miliard de utilizatori ChatGPT și gestionează peste 500 de petabytes de date la nivel global. Rulată în 40 de regiuni geografice pe infrastructura Azure Cosmos DB, platforma a trecut printr-o evoluție complexă pentru a menține latențe de ordinul milisecundelor în condițiile unei creșteri fără precedent a volumului de trafic.

Ce s-a întâmplat

În a doua parte a seriei dedicate scalării, inginerii OpenAI explică provocările întâmpinate în tranziția de la arhitecturi simple la sisteme capabile să susțină sarcini masive. Inițial, Habitat s-a bazat direct pe primitivele Azure Cosmos DB și pe un singur container comun. Acest model a generat rapid coliziuni pe cheile de partiționare logică (cum ar fi identificatorii de utilizator sau spațiu de lucru) și problema vecinilor zgomotoși (noisy neighbors), unde un flux intens de date dintr-o funcționalitate secundară putea degrada procese critice precum autentificarea.

O altă problemă majoră a fost fenomenul partițiilor slabe (weak partitions): pe măsură ce volumul de date creștea, partițiile fizice Cosmos DB se împărțeau automat, dar debitul total alocat (RU/s) rămânea constant, reducând capacitatea efectivă a fiecărei partiții rezultate. După o etapă intermediară în care au încercat izolarea completă prin containere dedicate pentru fiecare echipă – soluție abandonată din cauza complexității de planificare a capacității –, OpenAI a revenit la un model multi-tenant avansat. Noul sistem folosește containere co-administrate, limitare pe chei fierbinți (hot key throttling), politici de Quality of Service, componente proxy rescrise în Rust pentru reducerea supraîncărcării și o strategie strictă de Change Data Capture.

De ce contează în România

Pentru comunitatea de dezvoltatori, ingineri de date și arhitecți cloud din România, studiul de caz oferă lecții directe despre limitele practice ale bazelor de date NoSQL gestionate la scară hiperboloidă. Echipele locale care dezvoltă aplicații enterprise sau produse SaaS pe Microsoft Azure se lovesc frecvent de costurile neașteptate ale supradimensionării sau de blocajele generate de partiționarea greșită în Cosmos DB.

Documentarea problemelor legate de împărțirea partițiilor fizice și degradarea throughput-ului este un ghid valoros pentru optimizarea costurilor de infrastructură. În plus, adoptarea limbajului Rust pentru componentele de rețea și proxy confirmă tendința globală din ingineria de performanță, un domeniu în care inginerii software români sunt din ce în ce mai activi.

Cum poți încerca

Platforma Habitat este un sistem proprietar OpenAI și nu este disponibilă ca software de sine stătător sau proiect open-source. Cu toate acestea, tehnologiile pe care se sprijină sunt accesibile oricui dorește să construiască soluții similare.

Dezvoltatorii pot experimenta conceptele de partiționare, Request Units și replicare multi-regiune direct în Azure Cosmos DB, serviciu care oferă și o opțiune gratuită (Free Tier) pentru testare în cloud-ul Microsoft. Analiza tehnică completă și diagramele de arhitectură pot fi consultate direct pe secțiunea de inginerie a blogului OpenAI.