OpenAIはオンラインストレージ基盤「Habitat」を進化させ、週あたり10億人超を支える高速で信頼性の高いデータアクセスを実現しています。毎秒7000万件超の要求と500ペタバイト超のデータに対応し、約40地域で稼働しています。DevDay 2023ではPythonのクライアントライブラリとして出発し、Azure Cosmos DBを背後に持つ単純な実装でした。その後、機能追加と運用の複雑化に伴い、単一の制御点を持つ独立サービスへ改修し、配置や権限制御、監査、ルーティングなどを一元化しました。これにより、展開や観測性の改善が全製品に即時波及する構造となりました。
Pythonサービス化の判断は、短期の機能進化と安定性を優先する戦略的選択でしたが、テールレイテンシ管理が主要課題となりました。非同期処理ではCPU負荷の高いタスクがイベントループに滞留しやすく、p99遅延を押し上げます。OpenAIはバックグラウンドタスクのスケジューリング遅延を実測し、同時処理数を抑えてワーカープロセス数で拡張しました。さらに機能フラグ構成のJSON解析が遅延の一因であると特定し、設定の縮小、更新間隔の延長、ジッター付与で改善しました。接続プールの偏りはLIFO再利用が原因と突き止め、FIFO化で準安定的な過負荷を解消し、IstioとEnvoyで負荷分散を最適化しました。
多数のPythonプロセスが下流を洪水させる課題には、EnvoyでHTTP/1をHTTP/2へ集約し、接続のファンインと多重化を徹底しました。API設計はNoSQLで予測可能性を重視し、任意SQLを排し高コストクエリの暴発を回避しています。複雑な分析はCDCでRocksetへ分離し、オンライン処理の安定性を確保しました。2026年第2四半期にはエンジニア2名とCodex、GPT-5.5によりRustへ全面移行し、現在はリクエストの95パーセントをRustが処理しています。CPU効率は6倍、メモリ効率は15倍となり、平均遅延とテール遅延も大幅に低下しました。今後はAzure Cosmos DB層の最適化や多地域配置の詳細が公開予定です。
詳しくは「OpenAI」の公式ページまで。レポート／DXマガジン編集部
