#fine-tuning 12 total

AI要約 VRAM 8GBのRTX 2070（Turing世代）1台を使い、個人データをクラウドに送らずローカル環境でQLoRAファインチューニングを行う試みを記録した進行中の実験記事。

EN A work-in-progress account of running QLoRA fine-tuning locally on a single RTX 2070 (8 GB VRAM, Turing architecture), keeping all personal training data on-device without any cloud upload.

AI要約 基盤モデルをファインチューニングすると事前学習で獲得した汎用能力が損なわれる問題に対し、一般化レイリー商最適化を用いて下流タスクへの適応と基盤能力の保持を両立する手法を提案した研究。

EN arXiv:2606.00132v1 Announce Type: new Abstract: While finetuning effectively adapts foundation models to specialized downstream tasks, it can degrade nontarget capabilities acquired during pretraining

AI要約 複数段階のポストトレーニングを順番に適用すると、LLMの内部表現が崩壊する現象を分析した論文。単一の命令チューニングでは見られないこの問題のメカニズムと対策を論じている。

EN arXiv:2605.30524v1 Announce Type: new Abstract: Large language models are now adapted through chains of post-training stages rather than through a single instruction-tuning pass. This paper studies wh

AI要約 LLMのファインチューニングコスト削減を目的としたデータ選択手法が注目される中、本論文はサンプル優先度付けが学習の長期的な性能にどう影響するかを分析した研究。短期的な効率改善が長期性能と必ずしも一致しない可能性を示唆している。

EN arXiv:2605.30537v1 Announce Type: new Abstract: Data selection is increasingly used to reduce the cost of large language model (LLM) fine-tuning, with recent methods prioritizing samples by current ut

AI要約 「自社を理解するAI」の実現手段として注目されるファインチューニングだが、bge-m3・LanceDB・Ollamaを組み合わせたローカルRAG構成を検証したところ、多くのユースケースではRAGだけで十分な精度が得られることが示された。コストと運用負荷の観点からも、まずRAGを試すべきという知見は実務に直結する。

EN A hands-on experiment using bge-m3, LanceDB, and Ollama (gemma) found that a local RAG pipeline can match the practical needs of company-specific AI without fine-tuning, challenging the common assumption that training on proprietary data is necessary.

AI要約 Google のオープンモデルファミリー Gemma を活用したスキル拡張フレームワーク「gemma-skills」が公開された。軽量ながら高性能な Gemma の「チューニングのしやすさ」を活かし、個人プロジェクトからエンタープライズ用途まで幅広い応用を想定している。

EN A new framework called gemma-skills has been introduced to extend the capabilities of Google's Gemma open model family, leveraging its lightweight design and strong tunability for use cases ranging from personal projects to enterprise applications.

AI要約 ファインチューニング実験により、LLMは虚偽と明示されても誤情報を真実として自信を持って出力するバイアスがあることが判明した。

EN Fine-tuning tests show "bias... toward confidently representing the claims as true."

AI要約 KaggleのGoogle Tunixハッカソンで、開発者たちが小規模な非推論ベースモデルをTPUと限られた計算リソースで汎用推論エンジンへと変換した。

EN The Google Tunix Hackathon on Kaggle challenged developers to transform small, non-reasoning base models into general reasoning engines using Kaggle TPUs and a limited compute budget. The winning team

AI要約 Hugging FaceがUnslothとJobsを組み合わせた無料のAIモデル微調整環境を提供。Pro/Team/Enterpriseユーザーは月額クレジットでGPUを利用でき、ローカル環境構築なしにLoRAやQLoRAによる効率的な学習を実行できる。

EN Train AI models with Unsloth and Hugging Face Jobs for FREE

AI要約 Hugging FaceがClaudeを用いてCUDAカーネルを自動生成し、その知識をオープンモデルへ蒸留するワークフローを公開した。

EN We Got Claude to Build CUDA Kernels and teach open models!

AI要約 LinkedInがGPT-OSSモデルへのエージェント型強化学習適用を振り返り、訓練パイプライン構築・安定化の工夫・課題と解決策を解説。

EN Unlocking Agentic RL Training for GPT-OSS: A Practical Retrospective