GEMトレーニング：MetaがLLMスケールの広告基盤モデルの効率を2倍にした方法GEM Training: How Meta Doubled the Efficiency of Its LLM-Scale Ads Foundation Model
匿名の公開いいねです。記事の保存・お気に入りではなく、Featured、Top 3、重要度、掲載順位には影響しません。仕組みとプライバシーAnonymous public likes are reactions, not saved articles or bookmarks. They do not affect Featured, Top 3, importance, or listing order.How it works and privacy
MetaはInstagram・Facebook向け広告推薦基盤モデルGEMのトレーニング効率を2倍（MFU 20〜25%）に引き上げつつ、計算量を4倍にスケールさせることに成功した。
Meta achieved a 2x improvement in end-to-end training efficiency for GEM, its ads recommendation foundation model, reaching 20–25% MFU while scaling training FLOPs 4x on thousands of latest-generation GPUs.
本ページの本文と要約は AI による自動生成です。日本語版と英語版は言語ごとに独立して生成されるため、表現や詳しさが異なる場合があります。正確性は元記事 (engineering.fb.com) をご確認ください。The body and summaries are AI-generated independently for each language, so wording and detail may differ. Verify accuracy at the original source (engineering.fb.com).
要約と収集メタデータに基づく AI 解説。元記事全文の転載・翻訳ではありません。AI explainer based on the summaries and collected metadata, not a copy or translation of the full source article.
GEMトレーニング
Metaは、広告推薦基盤モデルGEMのエンドツーエンド（E2E）トレーニング効率を2倍に高めた。トレーニングFLOPsを4倍へ拡大しながら、Model FLOPs Utilization（MFU）で20〜25％に到達した点が主要な成果とされる。
広告推薦モデル
GEMはGenerative Ads Recommendation Modelの略称で、InstagramとFacebookにまたがる広告推薦を支える基盤モデルと説明されている。今回示された効率改善は、このGEMをLLMスケールでトレーニングする基盤に関するものだ。
GPUと計算量
トレーニングには、最新世代のGPUが数千基規模で使われている。単に計算資源の規模を広げただけではなく、トレーニングFLOPsを4倍にスケールさせた状態で、E2Eの効率を2倍にしたという。ここで示されるFLOPsの拡大率は、GEMのトレーニングに投入される計算量についての数値である。
MFU20〜25％
効率はMFUという指標で示され、改善後の水準は20〜25％とされる。記事情報では、数千基の最新世代GPUによるLLMスケールの学習、4倍に増えたトレーニングFLOPs、2倍になったE2E効率が一体の成果として説明されている。つまり、計算規模を拡大する過程で、GEMのトレーニング効率も同時に引き上げたことが報告の中心となっている。
GEM Training
Meta says it has doubled the end-to-end training efficiency of its Generative Ads Recommendation Model, or GEM, while scaling training FLOPs by 4x. The result matters because GEM is the foundation model behind ads recommendations across Instagram and Facebook, and it now trains at LLM scale.
LLM Scale
According to the source, GEM training runs on several thousand of the latest-generation GPUs. The announcement characterizes this as LLM-scale training, placing the reported efficiency improvement in the context of a large GPU deployment rather than a smaller training run.
The collected excerpt does not specify the exact GPU count or identify particular GPU models. It also does not provide separate figures for Instagram and Facebook.
End-to-End Training Efficiency
Meta reports a 2x improvement in end-to-end, or E2E, training efficiency. The resulting level is 20–25% Model FLOPs Utilization, abbreviated as MFU.
The percentage is presented as a range for the achieved MFU, while the 2x figure describes the reported improvement in overall training efficiency. The source connects both measurements to GEM’s training process at LLM scale.
Training FLOPs
The efficiency gain was achieved while training FLOPs were scaled by 4x, according to Meta. This means the reported change combined a fourfold scaling of training computation with doubled E2E training efficiency and MFU reaching 20–25%.
Although the source says the full post goes into details about how Meta achieved these results, the collected excerpt does not identify the individual engineering changes or training techniques involved. Its concrete technical claims are limited to the GPU scale, the 4x increase in training FLOPs, the 2x E2E efficiency improvement, and the resulting MFU range.
ポコとTECHガイドPoko & TECH Guide
ポコと当サイトのTECHガイドが、記事の要約と収集した情報から読みどころを語るAI生成の対話です。Poko and TECH Dashboard's own TECH Guide discuss the article's highlights in an AI-generated conversation based on its summary and collected source details.
- ポコPokoこれは普段の何が変わるの？ InstagramやFacebookで見る広告に関係ある？What changes in everyday use? Does this affect the ads I see on Instagram and Facebook?
- TECHガイドTECH GuideGEMは両サービスの広告推薦を支えるモデルじゃ。この記事では、広告そのものの見え方の変化までは述べず、学習をより効率よく進めたと説明しておる。GEM supports ad recommendations on both services. The article says its training became more efficient, though it does not describe a direct change in how ads look to users.
- ポコPoko前はできなかったの？ 効率が2倍って、何を2倍にしたんだろう。Couldn’t it do this before? What exactly became twice as efficient?
- TECHガイドTECH Guide従来の詳しい仕組みは分からんが、学習全体の効率を2倍にしてMFUを20〜25%へ上げ、計算量は4倍に広げたそうじゃ。MFUは計算装置をどれだけ活用できたかの目安じゃよ。The earlier setup is not detailed. The article says end-to-end training efficiency doubled, MFU reached 20–25%, and training computation scaled fourfold. MFU is a rough measure of how fully the computing hardware is used.
- ポコPokoつまり、たくさんの計算を増やしても、無駄を減らしながら広告推薦のモデルを学習できたのが一番の収穫なんだね。So the big takeaway is that they could train the ad recommendation model with much more computation while cutting waste. That’s pretty impressive!
- TECHガイドTECH Guideその捉え方でよさそうじゃ。次は、この効率化がInstagramとFacebookの広告推薦にどう結び付くのか、続報で示されるかに注目じゃのう。That seems like a fair takeaway. The next thing to watch is whether future coverage shows how this efficiency work connects to ad recommendations on Instagram and Facebook.
