Local LLM / Open Modelspage 3/8

AI要約MiniMax H3をGoogle ColabのA100で実際に動かした検証記事。VRAMではなくディスク容量とRAMがボトルネックになるという、見落とされがちな落とし穴を実測ベースで記録している。

AI SUMMARYA hands-on report of running MiniMax H3 (Hailuo 3.0) on a Colab A100 reveals that disk space and RAM—not VRAM—are the real bottlenecks, offering practical guidance for anyone attempting local deployment.

AI要約Qwen3.5がApple GPU上でMLXエンジンのMTPヘッドによる投機的デコードにより高速化され、OpenAI互換ストリーミング形式も修正された。

AI SUMMARYOllama v0.32.6 speeds up Qwen3.5 on Apple GPUs via automatic speculative decoding with the MLX engine, and fixes /v1/chat/completions streaming to match OpenAI's wire format.

AI要約Mistral Small 4は総パラメータ119Bながら、MoE構造により推論時の実効パラメータが約6.5B相当となり、軽量動作と高性能を両立するOSSモデルの新たな基準を示した。

AI SUMMARYMistral Small 4 achieves effective inference at roughly 6.5B active parameters despite a 119B total parameter count via a MoE architecture, setting a new benchmark for efficient open-source LLMs.

AI要約Empero AIが公開した「Qwythos-9B」は、Claude Fable 5からの蒸留とされる100万トークンコンテキスト対応の推論特化モデルで、わずか4GB VRAMのローカル環境で動作する点が注目されている。

AI SUMMARYEmpero AI's Qwythos-9B is a reportedly Claude Fable 5-distilled reasoning model supporting 1M-token context that can run on just 4 GB of VRAM, making long-context inference accessible on consumer hardware.

AI要約従業員番号やメールアドレスを使うサービスでは登録・ログイントラブルが頻発するが、個人情報をLLMに送らずにCS対応を自動化するエージェントの設計手法を解説している。

AI SUMMARYThis article explains how to build a CS support agent that automates repetitive account-verification inquiries without exposing personal information to the LLM, reducing manual CS workload.

AI要約MiniMaxがテキスト・画像・音声・動画を扱うマルチモーダルモデル「MiniMax-H3」を公開し、PipeNetworkがApple SiliconのMLXフレームワーク上でローカル実行できる実装を提供した。

AI SUMMARYMiniMax released MiniMax-H3, an omni-modal model supporting text, image, audio, and video generation including 15-second clips, and PipeNetwork published an MLX-based implementation enabling local inference on Apple Silicon.

AI要約長文脈LLMにおけるKVキャッシュのメモリ肥大化問題に対し、DeepSeek-V4はCSAとHCAという2つのアーキテクチャ設計でキャッシュ量を従来比10分の1に抑えることに成功した。

AI SUMMARYDeepSeek-V4 addresses the memory bottleneck of KV caches in long-context LLMs by introducing CSA and HCA architectural designs that reduce cache size to one-tenth of conventional approaches, significantly improving throughput.

AI要約業務での生成AI利用時に「この内容をクラウドへ送ってよいか」を人間が毎回判断する負担を解消するため、入力内容を自動評価してローカルLLMとクラウドAIへ振り分けるLLMルーティングの内部動作を解説した記事。

AI SUMMARYThis article explains how LLM routing works internally—automatically classifying user input and directing it to either a local LLM or a cloud AI—removing the burden of manual privacy judgment each time sensitive content is involved.

AI要約Minecraft上で制度を与えずに32体のLLMエージェントを6時間動かした実験で24件の殺害が発生し、多エージェント設計における再現性の高い3つの失敗パターンが明らかになった。

AI SUMMARYA 6-hour Minecraft experiment running 32 institution-free LLM agents resulted in 24 killings among villagers, revealing three reproducible failure patterns critical for multi-agent system designers.

AI要約Google ColabでLlamaを動かそうとした初心者が4時間試行錯誤した体験記で、正しいコードでも躓くポイントや「人格アンカー」によるAI人格安定化の工夫を共有している。

AI SUMMARYA beginner documents four hours of troubleshooting Llama on Google Colab, sharing practical pitfalls where correct code still fails and introducing a 'persona anchor' prompting technique to stabilize AI personality consistency.

AI要約M1 Max 64GBでQwen3.5-9B Q4量子化モデルを実測したところ、短い日本語回答に対して数千トークンの過剰出力が発生し、「GPT-4超え」の主張は実環境では検証困難であることが示された。

AI SUMMARYHands-on testing of Qwen3.5-9B (Q4, 6.6 GB) on an M1 Max revealed that a 131-character Japanese answer ballooned to 3,936 tokens, exposing a significant verbosity issue and making the widely-circulated "beats GPT-4" claim impossible to verify under real conditions.

AI要約Ollama 0.30.8にMLXバックエンドが統合されたが、バイナリ解析とログ突合の結果、通常の`ollama pull`で取得するGGUFモデルはMLXランナーを経由しないことが判明した。速度改善の恩恵を受けるにはモデル形式の確認が必要となる。

AI SUMMARYOllama 0.30.8 ships with an integrated MLX runner for Apple Silicon, but hands-on investigation on an M1 Max 64GB showed that standard GGUF models pulled via `ollama pull` do not go through the MLX path, meaning users cannot assume a speed gain without verifying the active backend.

AI要約RTX 4070でQwen 35Bをローカル動作させ、7項目の質問で GPT-4と比較採点した結果、3領域では明確に優位に立てることが判明した。「賢いモデルほど汎用的」という常識とは別に、ローカルLLMが実用的に刺さる用途が存在することを示している。

AI SUMMARYA hands-on benchmark pitting locally-run Qwen 35B against GPT-4 across seven questions found that the open model wins in exactly three domains, challenging the assumption that local LLMs are purely for experimentation and highlighting specific practical use cases for consumer-grade GPUs.

AI要約Simon Willisonが、オープンウェイトとアメリカのAIリーダーシップをテーマに各社が署名した公開書簡など、数週間分の動向をニュースレターから転載してまとめた。AI政策や業界の方向性に関する議論の広がりを示す内容となっている。

AI SUMMARYSimon Willison rounds up several recent open letters on AI development, including a Microsoft-shepherded letter on open weights and American AI leadership dated July 24th, offering a snapshot of ongoing industry policy debates.

AI要約vLLMでMTP speculative decodingとprefix cachingを併用すると、キャッシュヒット率が半減しTTFTが悪化するバグが報告されており、二つの最適化を単純に組み合わせても期待通りの速度向上が得られない理由を解説している。

AI SUMMARYCombining MTP speculative decoding with prefix caching in vLLM can halve cache hit rates and significantly worsen TTFT, exposing a real bug where two optimizations interfere rather than multiply each other's benefits.

AI要約Apple M3 Ultra・512GB搭載のMac Studio 1台でKimi K3を動かすため441GBに枝刈りし、Kimi Code CLIと組み合わせてSWE-Lancerの実タスク8本中5本・$3,500相当を達成した。

AI SUMMARYA developer pruned Kimi K3 down to 441 GB and ran it on a single Mac Studio (Apple M3 Ultra, 512 GB), achieving 5/8 correct on real SWE-Lancer tasks worth $3,500 using Kimi Code CLI as the harness.

AI要約Apple M5 Pro 48GBでの実測値と公開一次ソースを組み合わせ、6GB〜大容量までのVRAM階級ごとに最適なローカルLLMモデルをQwen3.5シリーズ中心にまとめたベンチマーク記事。

AI SUMMARYA practical benchmark guide selecting the best local LLM per VRAM tier (6 GB and up), combining direct measurements on Apple M5 Pro 48 GB with cited third-party data, with Qwen3.5 models dominating the lower tiers.

AI要約黒電話(600-A2-CL)を物理インターフェースとして活用し、ローカルLLMとずんだもん音声合成を組み合わせた学園祭向けマルチモーダルAIシステムの構築続編を解説している。

AI SUMMARYThis follow-up article details the construction of a multimodal AI system that uses a disassembled vintage rotary phone as a physical interface connected to a local LLM and the Zundamon voice synthesizer, targeting festival exhibition use.

AI要約ローカルLLMやオンプレミスAIは外部APIへの送信リスクを減らせるが、それだけで安全とは言えず、モデル自体や推論環境を含めた多層的なセキュリティ設計が必要だと論じている。

AI SUMMARYRunning LLMs locally eliminates one data-exfiltration vector, but the article argues that "offline equals safe" is a dangerous oversimplification requiring broader security design covering the model, runtime, and human-mediated channels.

AI要約DeepSeekがV4ファミリーの最新モデルを公開。3040億パラメータ（167GB）ながらエージェント能力が大幅強化され、Artificial AnalysisではMiniMax M3を上回る評価を獲得している。

AI SUMMARYDeepSeek released DeepSeek-V4-Flash-0731, a 304-billion-parameter open model (167GB) with substantially enhanced agentic capabilities that benchmarks above its weight class, surpassing MiniMax M3 on Artificial Analysis rankings.

AI要約Kimi K3がプロプライエタリモデルと互角の性能を示したことを機に、Simon WillisonがOxide and Friendsポッドキャストでオープンウェイトモデルの急速な台頭とその意義について議論した。

AI SUMMARYSimon Willison joined the Oxide and Friends podcast to discuss the surge of open weight models like Kimi K3 matching proprietary frontier models, marking a significant shift in the AI landscape.

AI要約RTX 4070上でQwen 35Bを動作させた際の消費電力を実測した結果、デコード中の平均はわずか42Wで、ピーク時でも175Wにとどまることが確認された。ローカルLLM運用時の電力コスト見積もりに役立つ具体的なデータとして注目される。

AI SUMMARYBenchmark measurements of Qwen 35B running on an RTX 4070 show average GPU power of only 42 W during decode, with prompt-eval peaks reaching 175 W, well below the card's 200 W TGP. These real-world power profiles offer useful reference data for estimating electricity costs of local LLM deployments.

AI要約AWS GPU EC2 上で日本語対応の full-duplex 音声対話モデル LLM-jp-Moshi-v1 を起動し、SSM ポートフォワード経由でブラウザから安全に音声対話できることを検証した記事。

AI SUMMARYThis article walks through deploying LLM-jp-Moshi-v1, a Japanese full-duplex voice dialogue model, on an AWS GPU EC2 instance and securely accessing it via SSM port forwarding without opening inbound ports.

AI要約自作LLMハーネスがプロンプトインジェクション攻撃に耐えられるかを検証した回で、通常ファイルに隠された悪意ある命令をAIが実行してしまうリスクと対策を体験ベースで考察している。

AI SUMMARYThis entry examines whether a home-built LLM harness can resist prompt-injection attacks, exploring real cases where malicious instructions hidden inside ordinary files were silently executed by an AI agent.

AI要約メドレーの新卒エンジニアがJetson Orin Nano Super上にGemma 4を用いたローカルマルチモーダルLLM環境を構築し、その検証手順と実用性を紹介している。エッジデバイスでのプライバシー重視なAI推論の可能性を示す内容。

AI SUMMARYA new engineer at Medley shares how they built a local multimodal LLM environment using Gemma 4 on the Jetson Orin Nano Super, demonstrating practical edge-device AI inference without cloud dependency.

AI要約.NET製推論エンジン「TensorSharp」がGGUFモデルをC#のみで実行し、llama.cppとのベンチマーク結果を公開してローカルLLMコミュニティで注目を集めている。

AI SUMMARYTensorSharp, a pure C# inference engine for GGUF models, has published benchmarks against llama.cpp, demonstrating that .NET can be a viable platform for local LLM inference.