vLLMのネイティブ速度 transformers モデリングバックエンドNative-speed vLLM transformers modeling backend
匿名の公開いいねです。記事の保存・お気に入りではなく、Featured、Top 3、重要度、掲載順位には影響しません。仕組みとプライバシーAnonymous public likes are reactions, not saved articles or bookmarks. They do not affect Featured, Top 3, importance, or listing order.How it works and privacy
HuggingFaceのtransformersライブラリがvLLMのネイティブモデリングバックエンドとして統合され、重複実装なしに最高速度での推論が可能になった。
Transformers is now a native modeling backend for vLLM, enabling full-speed inference without duplicating model implementations across the two libraries.
本ページの本文と要約は AI による自動生成です。日本語版と英語版は言語ごとに独立して生成されるため、表現や詳しさが異なる場合があります。正確性は元記事 (huggingface.co) をご確認ください。The body and summaries are AI-generated independently for each language, so wording and detail may differ. Verify accuracy at the original source (huggingface.co).
要約と収集メタデータに基づく AI 解説。元記事全文の転載・翻訳ではありません。AI explainer based on the summaries and collected metadata, not a copy or translation of the full source article.
vLLM統合
HuggingFaceのtransformersライブラリが、vLLMのネイティブモデリングバックエンドとして統合された。これにより、モデル作者はtransformers向けに用意した実装を自動的に活用し、同じモデルをvLLM側で重複して実装することなく、高速な推論を利用できる。
推論速度
transformersのvLLMバックエンドは、多くのLLMアーキテクチャにおいて、vLLM専用のカスタム実装と同等か、それ以上の速度に達したと説明されている。transformersをバックエンドに使うことが、推論速度の面で一律に不利になるわけではなく、モデル実装を共有しながらvLLMのネイティブ速度を引き出せる構成とされる。
450超の構成
transformersは、機械学習におけるリファレンスのモデリングライブラリとなっており、一貫したAPIを通じて450を超えるアーキテクチャをサポートする。各モデルの実装は自己完結し、理解しやすいことを主な目標として設計されているため、コードを読むことで、コントリビューターがアーキテクチャの仕組みを学びやすい。
実装の再利用
transformersで構造を理解したモデルは、vLLM、SGLang、MLX、llama.cppなど、ほかのフレームワークへ移植できる。今回のバックエンド統合は、そうした別実装への移植に加え、transformersの実装自体をvLLMで直接生かす道を提供するものだ。両ライブラリに同じモデル実装を個別に持たせず、transformers側の実装から高速なvLLM推論を利用できる点が中心となる。
Native modeling backend
Transformers is now a native modeling backend for vLLM, enabling full-speed inference without duplicating model implementations across the two libraries. This matters because model authors can use their Transformers implementations for ultra-fast vLLM inference rather than creating a separate custom implementation.
The announcement says the Transformers vLLM backend is now as fast as, or faster than, custom vLLM implementations for many large language model architectures. It describes this capability as automatically available to model authors through their existing Transformers implementations.
Consistent APIs
The Transformers library supports more than 450 architectures through consistent APIs. Its model implementations are designed to be self-contained and easy to understand, making the code useful for contributors learning how a particular architecture works.
That approach also allows contributors to port architectures from Transformers to other frameworks. The source names vLLM, SGLang, MLX, and llama.cpp among the frameworks to which implementations can be ported.
Transformers has embraced its role as a reference modeling library for machine learning and is investing effort in making this process easier. Integrating Transformers as a modeling backend in vLLM last year was described as a major step in that direction.
Full-speed inference
The central change is the combination of native backend support and native-level speed. Instead of maintaining one model implementation in Transformers and another custom implementation in vLLM, model authors can rely on the Transformers implementation while obtaining vLLM inference.
According to the announcement, this arrangement reaches top inference speed without duplicated implementations across the two libraries. For many architectures, using the Transformers backend no longer means accepting lower speed than a custom vLLM implementation; it can match or exceed that implementation’s performance.
ポコとTECHガイドPoko & TECH Guide
ポコと当サイトのTECHガイドが、記事の要約と収集した情報から読みどころを語るAI生成の対話です。Poko and TECH Dashboard's own TECH Guide discuss the article's highlights in an AI-generated conversation based on its summary and collected source details.
- ポコPokoモデルを作る人の仕事では、普段の何が変わるの？推論を速くする手間が減るのかな。What changes in a model author's day-to-day work? Does getting fast inference take less effort now?
- TECHガイドTECH Guidetransformers側の実装を生かして、vLLMで高速推論できるよ。両方に同じモデルを実装する重複を減らせるんだ。A transformers implementation can now power fast inference in vLLM. That reduces the need to implement the same model separately in both libraries.
- ポコPoko前は、transformersに実装しただけじゃvLLMの速さは出せなかったの？Before this, wasn’t a transformers implementation alone enough to get vLLM-level speed?
- TECHガイドTECH Guide従来は両ライブラリでモデル実装が重複していたんだ。今は多くのLLM構成で、専用vLLM実装と同等以上の速さだとされているよ。Previously, model implementations were duplicated across the two libraries. Now, for many LLM architectures, the backend is reported to match or beat custom vLLM implementations.
- ポコPokoじゃあ一番の収穫は、実装を二重に持たず、transformersからvLLMの速い推論につなげられることだね？So the big win is getting fast vLLM inference from a transformers implementation without maintaining it twice, right?
- TECHガイドTECH Guideそうだね。次は、どのLLMアーキテクチャで専用実装と同等以上の速さになるかに注目だね。That’s the key takeaway. Next, watch which LLM architectures reach or exceed the speed of custom implementations.
