Local LLM / Open Models 107 total

AI要約 VRAM 8GBのRTX 2070（Turing世代）1台を使い、個人データをクラウドに送らずローカル環境でQLoRAファインチューニングを行う試みを記録した進行中の実験記事。

EN A work-in-progress account of running QLoRA fine-tuning locally on a single RTX 2070 (8 GB VRAM, Turing architecture), keeping all personal training data on-device without any cloud upload.

AI要約 Mac（Apple Silicon）にOllamaと日本語特化LLM「ELYZA」を組み合わせ、ターミナル・REST API・WebUIの3通りでローカルAI環境を構築する手順を紹介した入門チュートリアル記事。

EN A Qiita tutorial showing how to run ELYZA, a Japanese-specialised LLM, on Apple Silicon Macs via Ollama, covering terminal commands, REST API integration, and WebUI chat access.

AI要約 ラ・サール中学の入試算数問題を複数の最新ローカルLLMに解かせ、モデルごとの推論能力の差を比較検証した記事。期待に反し、モデル間で「驚きの知能差」が浮き彫りになったとされる。

EN A benchmark blog post testing multiple local LLMs on La Salle Junior High School entrance exam math problems, revealing surprising reasoning capability gaps among the compared models.

AI要約 Ollama がバージョン v0.30.3 をリリースした。今回の更新では Google の Gemma 4 シリーズから 12B パラメータモデル（gemma4-12b）のサポートが新たに追加されており、ローカル環境での利用が可能となった。

EN New models Gemma 4 12B : high-performance multimodal intelligence that runs directly on laptops, combining efficiency with advanced reasoning. What's Changed Added support for gemma4:12b . Full Change

AI要約 2026年上半期、中国のAIラボはDeepSeek V4・Qwen 3.7 Max・Kimi K2.6・MiniMax M3など多数のモデルをリリースした。本記事はそれらを実用的な観点から比較・整理し、用途別の選択指針を示す。

EN Chinese AI labs flooded the market in early 2026 with models like DeepSeek V4, Qwen 3.7 Max, Kimi K2.6, and MiniMax M3. This article cuts through the noise with a practical, use-case-oriented comparison of these releases.

AI要約 AlibabaのQwen3.6-35B-A3BをM1 Pro 32GBのMacで実際に動かした検証レポート。35B総パラメータ・3Bアクティブのスパース MoEモデルながら、コンシューマー向けハードウェアでの実用性を率直に評価している。

EN A hands-on report on running Alibaba's Qwen3.6-35B-A3B sparse MoE model on an M1 Pro MacBook with 32GB of unified memory, offering an honest assessment of real-world usability on consumer hardware.

AI要約 OllamaがバージョンV0.30.2をリリースした。主な変更点として、Cline CLIの表示・自動インストール機能、トラブルシューティングを支援するテンプレートログ記録、QwenコードモデルのLaunchコマンドへの統合が含まれる。

EN Follow up to #16396 Fix kernel template instantiation so the symbols are exported in the library.

AI要約 Ollama v0.30.1 がリリースされ、llama.cpp b9478 で導入されたデフォルト30秒間隔の SSE ping コメントフレームを JSON として誤解析していた不具合が修正された。ストリーミング中にコロンのみの SSE コメント行をスキップするよう処理が改善されている。

EN llama.cpp b9478 added a default 30s SSE ping that emits colon-only comment frames (":\n\n") while streamed requests are idle; Ollama treated non-data SSE lines as JSON, so skip SSE comments in complet

AI要約 OllamaがバージョンV0.30.1をリリースした。主な変更点はCline CLIの自動インストール表示機能、トラブルシューティング支援のためのテンプレートログ出力、およびQwenコードモデルとの統合追加の3点である。

EN launch: isolate Codex launch configuration ( #16437 )

AI要約 医療AIに携わるエンジニアや医療従事者向けに、企Q-26・ZDR・ローカルLLM・SaMDといった法規制・技術概念を横断的に整理した自己学習ノート。生成AIを医療現場へ導入する際の最低限の法律知識と技術的判断軸を一本にまとめた実践的な解説記事。

EN A practical self-study guide for engineers and healthcare professionals covering key Japanese regulations and technical concepts—including Q-26 guidance, ZDR, local LLMs, and SaMD classification—relevant to deploying generative AI in clinical settings.

AI要約 MicrosoftがリリースしたBitNet b1.58 2B 4Tは、重みを1.58ビットに量子化した軽量LLMで、Google ColabのT4など安価なGPUでも快適に動作する。HuggingFace Transformersから数行のコードで利用可能で、ローカルLLM入門として注目されている。

EN Microsoft's BitNet b1.58 2B 4T is a heavily quantized LLM that runs comfortably on budget GPUs like the T4, and can be loaded in just a few lines via HuggingFace Transformers, making it an accessible entry point for local LLM experimentation.

AI要約 Apple デバイスに内蔵される Neural Engine（ANE）上で、Google の大規模言語モデル Gemma 4 を動作させる手法を解説した記事。オンデバイス推論の可能性と ANE 活用の実践的なアプローチを紹介している。

EN A hands-on guide to running Google's Gemma 4 language model on Apple's Neural Engine (ANE), exploring on-device inference techniques and the practical steps needed to leverage ANE for local LLM execution.

AI要約 OllamaがバージョンV0.30.0をリリースした。llama.cppとの統合を改善し、互換性とパフォーマンスを向上させた。Apple SiliconのMLXエンジンを補完する形で、より幅広いハードウェアへのサポートを拡大している。

EN Ollama 0.30 is now available, with improved compatibility and performance using llama.cpp . This augments the MLX engine on Apple Silicon, bringing support to a wider range of hardware. This release b

AI要約 NVIDIA GTC Taipei 2026の基調講演で発表されたノートPC向けSoC「RTX Spark」と据え置き型「DGX Station」を題材に、ローカルLLM推論においてGPUコア数よりもメモリ帯域幅と容量が性能を左右する理由を物理的な観点から解説した技術記事。

EN A technical deep-dive into NVIDIA's RTX Spark (128 GB unified memory) and DGX Station announced at GTC Taipei 2026, arguing that memory bandwidth and capacity—not raw compute—are the true bottleneck for local LLM inference.

AI要約 X（旧Twitter）のブックマークといいねをローカル環境でAI整理できるOSSツール「Yadorigi」が公開された。すべてのデータは自分のマシン上に保持され、プライバシーを守りながらツイートを管理・検索できる設計となっている。

EN Yadorigi is a newly released open-source tool that lets users organize their X (Twitter) bookmarks and likes locally using AI, keeping all data on their own machine for full privacy.

AI要約 ! 最先端AIを技術の中身まで日本語で読み解く「AIウォッチ」の深掘り記事です。一次情報（arXiv 2507.18071 / Qwen公式ブログ）を当たって書いています。 推論モデルの強化学習（RL）は、ここ1年で「ベンチマークを何点上げ

AI要約 「自社を理解するAI」の実現手段として注目されるファインチューニングだが、bge-m3・LanceDB・Ollamaを組み合わせたローカルRAG構成を検証したところ、多くのユースケースではRAGだけで十分な精度が得られることが示された。コストと運用負荷の観点からも、まずRAGを試すべきという知見は実務に直結する。

EN A hands-on experiment using bge-m3, LanceDB, and Ollama (gemma) found that a local RAG pipeline can match the practical needs of company-specific AI without fine-tuning, challenging the common assumption that training on proprietary data is necessary.

AI要約 9社の主要LLM APIを「フラッグシップ／mini／nano」の3階層に整理し、料金を横断比較した記事。大量処理ならAmazon Nova・DeepSeek・Gemini Flash系が最安クラスとされ、用途別の選択指針もまとめられている。

EN A May 2026 comparison of major LLM API pricing across nine providers, organized into flagship, mini, and nano tiers. The analysis highlights Amazon Nova, DeepSeek, and Gemini Flash as top picks for cost-sensitive, high-volume workloads.

AI要約 新調したRadeon RX 9600 XT 16GBとQwen2.5-coderを組み合わせ、ローカル環境でのコード補完を試みた実践レポート。AMD Ryzen 5 4500・RAM 32GBという一般的なミドルレンジ構成でも、コード補完レベルのLLM推論が十分に動作することを確認している。

EN A hands-on report of running local LLM code completion using a newly acquired Radeon RX 9600 XT 16GB paired with Qwen2.5-coder on a mid-range AMD Ryzen 5 4500 system with 32GB RAM, confirming that consumer-grade hardware can handle inference for coding tasks.

AI要約 2026年5月26日に公開されたEAGLE 3.1は、スペキュラティブデコーディングの精度低下原因「attention drift」を解消し、vLLM公式ベンチマークでKimi K2.6のスループットを対EAGLE-3比2.03倍に向上させた。

EN EAGLE 3.1, released May 26 2026, addresses 'attention drift' in speculative decoding and achieves up to 2.03× throughput improvement over EAGLE-3 on Kimi K2.6, according to vLLM's official benchmarks.

AI要約 AIエンジニアの@noprogllamaが、「AIに仕事を奪われるか」という問いを超え、「責任がどこに残るか」という視点でAI時代の働き方を考察する。仕事の有無よりも、判断・説明・結果への責任の所在が今後の核心になると論じる。

EN Engineer @noprogllama reframes the AI-displacement debate: instead of asking whether jobs will survive, the more pressing question is where responsibility will land as AI takes on more cognitive work.

AI要約 自分の名前で起きるスマートスピーカーが欲しくて、Custom Wake Word を作りたくなった。「OK Google」 や「ヘイ Siri」 のように、自分で決めた呼びかけにだけ反応するモデル。ローカルで動かしたい、外部に音声を送りたく

AI要約 1. はじめに Web開発のデバッグ中、画面とログを行き来しながら、ついついこんな「独り言」を呟いてしまうことはないでしょうか。 「うわ、またコンソールが真っ赤になってる…」 「CORSエラーが出てるな。プリフライトが405で落ちているとい

AI要約 Google のオープンモデルファミリー Gemma を活用したスキル拡張フレームワーク「gemma-skills」が公開された。軽量ながら高性能な Gemma の「チューニングのしやすさ」を活かし、個人プロジェクトからエンタープライズ用途まで幅広い応用を想定している。

EN A new framework called gemma-skills has been introduced to extend the capabilities of Google's Gemma open model family, leveraging its lightweight design and strong tunability for use cases ranging from personal projects to enterprise applications.

AI要約 OllamaがリリースカンディデートのRC30をリリース。v0.30.0の正式公開に向けたバージョン更新が行われた。

EN version bump

AI要約 TAKTのクラウドLLMトークン消費を抑えるため、OpenCodeを通じてOllamaのローカルLLMを活用する方法を解説した記事。

EN A practical guide on reducing TAKT's cloud LLM token consumption by routing requests through OpenCode to a locally running Ollama instance.

AI要約 AI ShiftのエンジニアがLocal LLMとGemini EnterpriseをA2Aプロトコルで接続し、実用的なAI秘書システムを構築した事例を紹介。

EN An AI Shift engineer details how they connected a local LLM with Gemini Enterprise via the A2A protocol to build a practical AI secretary assistant.