Red Hat、llm-dコミュニティを立ち上げ分散型gen AIの推論を大規模に強化

［マサチューセッツ州ボストン　-RED HAT SUMMIT- 2025年5月20日（現地時間）発表]　アメリカ報道発表資料抄訳

オープンソース・ソリューションのプロバイダーとして世界をリードするRed Hat Inc, (以下、Red Hat)は本日、生成AI（gen AI）の未来におけるもっとも重要なニーズである大規模な推論に対処するための新しいオープンソースプロジェクトllm-d の立ち上げを発表しました。gen AIのための画期的な推論テクノロジーを大規模に活用するllm-dは、ネイティブKubernetesアーキテクチャ、vLLMベースの分散推論、インテリジェントなAI対応ネットワークルーティングを搭載し、堅ろうな大規模言語モデル（LLM）推論クラウドを強化し、もっとも要求の厳しい本番環境でのサービスレベル目標（SLO）を達成します。

トレーニングは依然として重要な要素ですが、gen AIの真のインパクトは、効率的でスケーラブルな推論（AIモデルを実用的なインサイトやユーザー体験に変換するエンジン）にかかっています。Gartner ¹ は、「市場が成熟するにつれ、2028年までに、データセンターのワークロードアクセラレーターの80%以上が、トレーニング用途ではなく推論専用に特化してデプロイされる」と予測しています。これは、gen AIの未来が実行能力にあることを明確に示しています。高度化、大規模化が進む論理的推論モデルによるリソース需要の増大は、集中型推論の実行可能性を制限し、法外なコストと致命的な遅延によってAIイノベーションのボトルネックとなる恐れがあります。

llm-dでスケーラブルなgen AI推論の必要性に対処

Red Hat とその業界パートナーは、vLLMのパワーを強化しシングルサーバーの制約を超えてAI推論の生産性を大規模に向上させる先見的なプロジェクトllm-dで、この課題に正面から取り組みます。llm-dは実績のあるKubernetesのオーケストレーション能力を使用して、高度な推論機能を既存のエンタープライズITインフラストラクチャに統合します。この統合プラットフォームにより、ITチームはビジネスクリティカルなワークロードの多様なサービング要求に対応できるようになり、同時に革新的な技術を導入して効率を最大化し高性能AIアクセラレーターに付随する総所有コスト（TCO）を劇的に抑えることができるようになります。

llm-dは、以下のような強力なイノベーションを提供します。

• vLLMは、すぐにオープンソースのデファクトスタンダード推論サーバーとなり、新しいフロンティアモデルのday 0モデルのサポートや、Google Cloud Tensor Processor Units (TPU)を含む幅広いアクセラレーターのサポートを提供
• プレフィルとデコードの分離により、AIの入力コンテキストとトークン生成フェーズを個別のオペレーションに分離し、複数のサーバーに分散することが可能
• LMCache ベースのKV（キーバリュー）キャッシュオフロードは、キャッシュのメモリ負担をGPUメモリからCPUメモリやネットワークストレージなどの、コスト効率が高く豊富な標準ストレージにシフト
• Kubernetes搭載のクラスタとコントローラにより、パフォーマンスと低遅延を維持しながら、ワークロードの需要の変動に合わせてコンピュートとストレージのリソースを効率的にスケジューリングする
• AI対応ネットワークルーティングにより、過去の推論計算のホットキャッシュがある可能性がもっとも高いサーバーやアクセラレーターに受信リクエストをスケジューリングする
• NVIDIA Inference Xfer Library (NIXL)のサポートにより、サーバー間のデータ転送を高速かつ効率的に行うための高性能通信API

llm-d:業界リーダーが支援

この新しいオープンソースプロジェクトは、すでに主要なAIモデルプロバイダー、AIアクセラレーターのパイオニア、および一流のAIクラウドプラットフォームからなる強力な連合の支持を得ています。CoreWeave、Google Cloud、IBM Research、NVIDIAが創設貢献者であり、AMD、Cisco、Hugging Face、Intel、Lambda、Mistral AIがパートナーとして名を連ね、大規模なLLMサービングの未来を構築するための業界の深い協力関係を示すものとなっています。llm-dコミュニティにはさらに、vLLMの創始者であるカリフォルニア大学のSky Computing Labと、LMCacheの創始者であるシカゴ大学のLMCache Labが創設支援者として参加しています。

オープンコラボレーションへの揺るぎないコミットメントを基盤とする Red Hat は、急速に進化するgen AI推論の分野において、活気があり、誰でもアクセス可能なコミュニティの重要性を認識しています。

Red Hat は、オープンな協力体制への揺るぎない取り組みを基盤とし、急速に進化する生成 AI 推論の分野において、活気があり誰もが参加できるコミュニティの重要性を深く認識しています。

Red Hatのビジョン：あらゆるモデル、あらゆるアクセラレーター、あらゆるクラウド

AIの未来は、インフラのサイロ化に制約されることなく、無限の可能性によって定義されるべきです。Red Hatは、企業があらゆるモデルを、あらゆるアクセラレーター上で、あらゆるクラウドに導入し、莫大なコストをかけることなく、卓越した一貫性のあるユーザーエクスペリエンスを提供できる未来を見据えています。gen AI投資の真の可能性を引き出すために、企業にはユニバーサルな推論プラットフォームが必要です。そして、これは、現在および将来にわたって、よりシームレスで高性能なAIイノベーションの基準となるものです。

Red Hatは、Linuxを現代のITの基盤に変革して、オープンエンタープライズの先駆者となりましたが、現在では、AI推論の未来を設計する態勢を整えています。vLLMは、標準化されたAI推論の要となる可能性を秘めており、Red HatはvLLMコミュニティだけでなく、大規模な分散推論を実現するllm-dを含むエコシステムの構築に取り組んでいます。Red Hatのビジョンは明確です。AIモデル、基盤となるアクセラレーター、導入環境に関わらず、vLLMを新しいハイブリッドクラウドにおける推論の決定的なオープンスタンダードにすることを目指しています。

Red Hat Summit

Red Hat Summit の基調講演に参加して、Red Hat のエグゼクティブ、お客様、パートナーからの最新情報をお聞きください。

• Modernized infrastructure meets enterprise-ready AI（近代化されたインフラストラクチャ―とエンタープライズ対応のAI）—  5月20日（火）、東部夏時間午前8時～10時 (YouTube)
• Hybrid cloud evolves to deliver enterprise innovation （ハイブリッドクラウドの進化が企業のイノベーションを実現）— 5月21日（水）、東部夏時間午前8時～9時30分 (YouTube)

サポートコメント

Red Hat シニアバイスプレジデント兼AI 担当CTO Brian Stevens（ブライアン・スティーブンス）
「AIのリーダーたちが支援するllm-dコミュニティの発足は、スケーラブルなgen AI推論の必要性に対処する上で極めて重要なステップです。これは企業におけるAIの導入を拡大するために克服しなければならない重要な課題です。vLLMのイノベーションとKubernetesの実証済みの機能を活用することで、llm-dは、拡張したハイブリッドクラウドにおいて分散型のスケーラブルで高性能なAI推論を実現する道を開き、あらゆるモデル、あらゆるアクセラレーター、あらゆるクラウド環境をサポートし、AIの無限の可能性を引き出すというビジョンの実現を支援していきます」

AMD AI製品管理担当 コーポレートバイスプレジデント　Ramine Roane（ラミン・ローン）氏
「AMDはllm-dコミュニティの創設貢献者として高性能GPUの専門知識を提供し、進化するエンタープライズAIのニーズに対応したAI推論を推進できることを誇りに思います。組織がより高度なスケールと効率を実現するために複雑化するgen AIに対応すべく取り組む中、AMDはllm-dプロジェクトを通じて、この業界の需要に応えていきたいと思います」

Ciscoオープンソースプログラムオフィス バイスプレジデント兼Cisco DevNet責任者 Shannon McFarland（シャノン・マクファーランド）氏
「llm-dプロジェクトは、実用的なgen AIに向けてエキサイティングな一歩を踏み出すものです。llm-dは、開発者がプログラムでgen AI推論を統合して拡張できるようにすることで、現代のAIランドスケープにおいて新たなレベルのイノベーションと効率性を実現します。Ciscoはllm-dコミュニティの一員であることを誇りに思います。組織がより効果的かつ効率的にAIを適用するのに役立つ実世界でのユースケースを探求していきたいと思います」

CoreWeave　エンジニアリング担当シニアバイスプレジデント　Chen Goldberg（チェン・ゴールドバーグ）氏
「CoreWeaveは、llm-dプロジェクトの創設貢献者となり、オープンソースAIへの長年のコミットメントを深めることを誇りに思います。EleutherAIとの初期のパートナーシップから、大規模な推論を推進する継続的な取り組みまで、私たちは強力なAIインフラストラクチャをより利用しやすくすることに一貫して投資を行ってきました。イノベーションを加速し、オープンで相互運用可能なAIの基礎を築く、柔軟で高性能な推論エンジンを構築するために、素晴らしいパートナーや幅広い開発者コミュニティと協力できることをうれしく思います」

Google Cloud　AI＆コンピューティングインフラストラクチャ担当バイスプレジデント兼ゼネラルマネージャー　Mark Lohmeyer（マーク・ローマイヤー）氏
「効率的なAI推論は、組織がAIを大規模にデプロイし、ユーザーに価値を提供する上で極めて重要です。この推論の新時代を迎えるにあたり、Google Cloudはllm-dプロジェクトの創設貢献者として、当社のオープンソースへの貢献の実績を生かすことができることを誇りに思います。この新しいコミュニティは、大規模な分散型AI推論を実現するための重要な触媒として機能し、ユーザーがインフラストラクチャリソースのオプション性を高めながらワークロードの効率化を実現できるよう支援していきます」

Hugging Face プロダクト責任者 Jeff Boudier （ジェフ・ブーディエブーディエ）氏
「私たちは、あらゆる企業が自社のモデルを構築・運用できるべきだと考えています。vLLM が Hugging Face の transformers ライブラリをモデル定義の信頼できる情報源として活用することで、大規模・小規模を問わず多様なモデルが、テキスト、音声、画像、動画といった AI アプリケーションに活用できるようになります。800 万人の AI ビルダーが Hugging Face を利用し、200 万以上の AI モデルやデータセットを世界中のコミュニティとオープンに共有しています。私たちは、llm-d プロジェクトを支援し、これらのアプリケーションをスケールさせる力を開発者に提供できることを大変うれしく思っています」

IBM Research　ハイブリッドクラウドおよびAIプラットフォーム担当バイスプレジデント　Priya Nagpurkar（プリヤ・ナグプルカー）氏
「IBMでは、AIの次の段階は効率性とスケールだと考えています。私たちは、企業が効果的にデプロイできるAIソリューションを通じて、企業の価値を引き出すことに注力しています。IBMは、llm-dの創設貢献者として、ハードウェアに依存しない差別化された分散型AI推論プラットフォームの構築において重要な役割を果たせることを誇りに思います。AI推論の未来を変革するために、このコミュニティの成長と成功に向けて引き続き貢献していきたいと思います」

Intel　データセンター&AIソフトウェアソリューションズおよびエコシステム担当バイスプレジデントPearson（ビル・ピアソン）氏
llm-dの立ち上げは、AI変革を大規模に推進する上で、業界にとって重要な転換点となるでしょう。Intelも創設支援者として参加できることをうれしく思います。Intelのllm-dへの参画は、Red Hatとの数十年にわたる協業の最新のマイルストーンであり、どこでも、どのプラットフォームでもプロイできるオープンソース・ソリューションを企業に提供するものです。llm-dコミュニティを通じてAIイノベーションをさらに発展させ、構築していきたいと思います」

Lambda MLプラットフォーム担当シニアスタッフエンジニア　Eve Callicoat（イブ・キャリコート）氏
「推論は、AIの実世界での価値が提供される場所であり、llm-dは大きな前進と言えるでしょう。Lambdaは、最先端の推論を利用しやすく、効率的で、オープンなものにするこのプロジェクトを支援できることを誇りに思います」

NVIDIA　エンジニアリングAIフレームワーク担当バイスプレジデント　Ujval Kapasi（ウジバル・カパシ）氏
「llm-dプロジェクトは、オープンソースのAIエコシステムに加わる重要なプロジェクトであり、gen AIにおけるイノベーションを推進するためのNVIDIAの協業支援を象徴するものです。スケーラブルで高性能な推論は、gen AIとエージェント型AIの次の波に向けた鍵となります。私たちは、Red Hatやその他の支援パートナーと協力して、llm-dコミュニティへの参加と業界での導入を促進し、NIXLなどのNVIDIA Dynamoのイノベーションによってllm-dを加速できるよう支援していきます」

カリフォルニア大学バークレー校教授兼Sky Computing Labディレクター　Ion Stoica（イオン・ストイカ）氏
「vLLMは、大規模なAIモデルの実行に伴うスピードとメモリの課題への対処を支援するために私たちの研究室で生まれました。このvLLMの成功を足がかりとしたRed Hatの取り組みを大変うれしく思います。vLLMのようなオープンソースプロジェクト、そしてvLLMを中核とするllm-dは、AIイノベーションの最前線に立ち、最も要求の厳しいAI推論要件に取り組み、業界全体に大きな変化をもたらすものです」

シカゴ大学 　LMCache Lab CS教授 Junchen Jiang（ジュンチェン・ジャン）氏
オフロード、圧縮、ブレンディングなどの分散KVキャッシュの最適化は、私たちの研究室の重要な焦点でした。特にロングコンテキストの推論において、最初のトークンまでの時間を短縮し、スループットを向上させるコアコンポーネントとしてLMCacheを活用するllm-dの登場にワクワクしています」

¹ Forecast Analysis: AI Semiconductors, Worldwide（予測分析: 世界のAI半導体）, Alan Priestley, Gartner, 2024年8月2日 - ID G00818912　GARTNERは、米国およびその他の国におけるGartner, Inc.および/またはその関連会社の登録商標およびサービスマークであり、許可を得て使用しています。無断複写・転載を禁じます。

その他のリソース

• llm-dについて
• vLLMについて
• llm-dへの貢献について
• Red Hat Summitについて
• Red Hat Summit newsroomで今週のRed Hatの発表を見る
• Xの@RedHatSummitまたは#RHSummitでイベントごとの最新情報をフォローする