TPU上のTunixによる自律型LLM事後学習Autonomous LLM post-training with Tunix on TPUs
匿名の公開いいねです。記事の保存・お気に入りではなく、Featured、Top 3、重要度、掲載順位には影響しません。仕組みとプライバシーAnonymous public likes are reactions, not saved articles or bookmarks. They do not affect Featured, Top 3, importance, or listing order.How it works and privacy
autofinetuneは、TunixとTPUを使い、単一のMarkdown仕様からSFTとGRPOの実験、検証、Gitへの反映を自律化し、研究者によるLoRAランクや学習率、バッチサイズの効率的な最適化を可能にします。
autofinetune uses Tunix on TPUs to autonomously run, verify, and commit SFT and GRPO experiments from one Markdown spec, helping researchers optimize LoRA and training settings.
本ページの本文と要約は AI による自動生成です。日本語版と英語版は言語ごとに独立して生成されるため、表現や詳しさが異なる場合があります。正確性は元記事 (developers.googleblog.com) をご確認ください。The body and summaries are AI-generated independently for each language, so wording and detail may differ. Verify accuracy at the original source (developers.googleblog.com).
要約と収集メタデータに基づく AI 解説。元記事全文の転載・翻訳ではありません。AI explainer based on the summaries and collected metadata, not a copy or translation of the full source article.
autofinetune
autofinetuneは、単一のMarkdown仕様を起点に、LLMの事後学習に関する実験、検証、Gitへの反映を自律化する仕組みだ。TunixとCloud TPUを利用し、研究者に代わって数十件のファインチューニング実験を進められると説明されている。
自律研究ループ
着想の基になったのは、自己完結したループ内で自律型LLMエージェントが事前学習を反復的に探索するautoresearchプロジェクトだ。autofinetuneは、この自律研究ループをLLMの事後学習へ適用する。人が一つのMarkdown仕様を記述すると、エージェントがその内容に沿って実験を繰り返し、結果を検証したうえで、確認済みの改善をGitへコミットする流れとなる。
SFTとGRPO
対象となる事後学習は、教師ありファインチューニングのSFTと、GRPOによる強化学習だ。実験では、LoRAランクの探索に加え、学習率スケジュールの調整やバッチサイズのチューニングを扱う。これらの設定を自律的に試し、検証することで、研究者によるLoRAや学習設定の効率的な最適化を可能にするとされる。
TunixとTPU
実行基盤には、GoogleのAIスタックであるTunix、Gemma、Cloud TPUが使われる。これらはAntigravity CLIとGemini Flash 3.7によってオーケストレーションされる。autofinetuneは、この構成上でSFTとGRPOの実験を走らせ、検証からGitへの反映までを一連の自律ループとして扱う。
Autonomous LLM post-training
autofinetune applies autonomous research loops to LLM post-training, enabling an AI agent to conduct fine-tuning work from a single Markdown specification. The approach matters because it can run, verify, and commit experiments while helping researchers optimize LoRA ranks and other training settings.
Self-contained loop
The project takes inspiration from autoresearch, which earlier this year showcased autonomous LLM agents iteratively exploring pre-training in a self-contained loop. autofinetune applies that research-loop model to post-training rather than pre-training.
Its supported work includes Supervised Fine-Tuning, or SFT, and Reinforcement Learning via GRPO. The agent can perform dozens of fine-tuning experiments overnight on a researcher’s behalf, turning the initial Markdown specification into an autonomous sequence of experimentation and verification.
LoRA and training settings
During those experiments, autofinetune can explore LoRA ranks, refine learning-rate schedules, and tune batch sizes. These are presented as settings that researchers can optimize more efficiently through the automated process.
The workflow does not stop after running experiments. It verifies the results and commits each verified improvement to Git. This combines experimentation, validation, and the recording of accepted changes within the same autonomous loop.
Full AI stack
autofinetune uses Google’s full AI stack for this post-training workflow. The stack consists of Tunix, Gemma, and Cloud TPUs, orchestrated with Antigravity CLI and Gemini Flash 3.7.
Together, these components support the process described by the project: beginning with one Markdown specification, autonomously running SFT and GRPO experiments on TPUs, verifying improvements, and committing those improvements to Git. The resulting workflow is designed to help researchers optimize LoRA ranks, learning-rate schedules, and batch sizes without manually conducting every experiment.
ポコとTECHガイドPoko & TECH Guide
ポコと当サイトのTECHガイドが、記事の要約と収集した情報から読みどころを語るAI生成の対話です。Poko and TECH Dashboard's own TECH Guide discuss the article's highlights in an AI-generated conversation based on its summary and collected source details.
- ポコPoko一つのMarkdownを書くだけで、一晩に何十件もの実験をAIに任せられるって、これって大きいこと？One Markdown file, and the AI can handle dozens of experiments overnight? Is that a big deal?
- TECHガイドTECH Guideこの記事では、実験の実行から検証、Gitへの反映までを一続きにしておる。作業範囲の広さが大きな点じゃな。The article describes one continuous loop covering experiments, verification, and Git commits. That breadth of automation is the significant part, I'd say.
- ポコPokoSFTとGRPOって何？ どちらもAIを学習させる方法ってこと？What are SFT and GRPO? Are they both ways to train an AI?
- TECHガイドTECH GuideSFTは正解例から学ぶ調整、GRPOは評価を手がかりに改善する強化学習じゃ。この紹介では、どちらも事後学習に使っておるよ。SFT tunes a model using example answers, while GRPO improves it through reinforcement learning guided by feedback. Here, both are used for post-training.
- ポコPokoぼくなら寝る前に条件を書いて、LoRAランクや学習率、バッチサイズを試してもらいたいな。朝が楽しみかも！I'd write the settings before bed and let it test LoRA ranks, learning rates, and batch sizes. Waking up could be exciting!
- TECHガイドTECH Guide記事だと、TunixとGemma、Cloud TPUなどを組み合わせた構成じゃ。単一のMarkdownで動かせるが、示されている環境は押さえたいのう。In the setup described, Tunix and Gemma work with Cloud TPUs and other tools. One Markdown spec drives it, but keep that specific environment in mind.
