#llmpage 3/9

AI要約Apple M3 Ultra・512GB搭載のMac Studio 1台でKimi K3を動かすため441GBに枝刈りし、Kimi Code CLIと組み合わせてSWE-Lancerの実タスク8本中5本・$3,500相当を達成した。

AI SUMMARYA developer pruned Kimi K3 down to 441 GB and ran it on a single Mac Studio (Apple M3 Ultra, 512 GB), achieving 5/8 correct on real SWE-Lancer tasks worth $3,500 using Kimi Code CLI as the harness.

AI要約Apple M5 Pro 48GBでの実測値と公開一次ソースを組み合わせ、6GB〜大容量までのVRAM階級ごとに最適なローカルLLMモデルをQwen3.5シリーズ中心にまとめたベンチマーク記事。

AI SUMMARYA practical benchmark guide selecting the best local LLM per VRAM tier (6 GB and up), combining direct measurements on Apple M5 Pro 48 GB with cited third-party data, with Qwen3.5 models dominating the lower tiers.

AI要約黒電話(600-A2-CL)を物理インターフェースとして活用し、ローカルLLMとずんだもん音声合成を組み合わせた学園祭向けマルチモーダルAIシステムの構築続編を解説している。

AI SUMMARYThis follow-up article details the construction of a multimodal AI system that uses a disassembled vintage rotary phone as a physical interface connected to a local LLM and the Zundamon voice synthesizer, targeting festival exhibition use.

AI要約ローカルLLMやオンプレミスAIは外部APIへの送信リスクを減らせるが、それだけで安全とは言えず、モデル自体や推論環境を含めた多層的なセキュリティ設計が必要だと論じている。

AI SUMMARYRunning LLMs locally eliminates one data-exfiltration vector, but the article argues that "offline equals safe" is a dangerous oversimplification requiring broader security design covering the model, runtime, and human-mediated channels.

AI要約DeepSeekがV4ファミリーの最新モデルを公開。3040億パラメータ（167GB）ながらエージェント能力が大幅強化され、Artificial AnalysisではMiniMax M3を上回る評価を獲得している。

AI SUMMARYDeepSeek released DeepSeek-V4-Flash-0731, a 304-billion-parameter open model (167GB) with substantially enhanced agentic capabilities that benchmarks above its weight class, surpassing MiniMax M3 on Artificial Analysis rankings.

AI要約Kimi K3がプロプライエタリモデルと互角の性能を示したことを機に、Simon WillisonがOxide and Friendsポッドキャストでオープンウェイトモデルの急速な台頭とその意義について議論した。

AI SUMMARYSimon Willison joined the Oxide and Friends podcast to discuss the surge of open weight models like Kimi K3 matching proprietary frontier models, marking a significant shift in the AI landscape.

AI要約RTX 4070上でQwen 35Bを動作させた際の消費電力を実測した結果、デコード中の平均はわずか42Wで、ピーク時でも175Wにとどまることが確認された。ローカルLLM運用時の電力コスト見積もりに役立つ具体的なデータとして注目される。

AI SUMMARYBenchmark measurements of Qwen 35B running on an RTX 4070 show average GPU power of only 42 W during decode, with prompt-eval peaks reaching 175 W, well below the card's 200 W TGP. These real-world power profiles offer useful reference data for estimating electricity costs of local LLM deployments.

AI要約AWS GPU EC2 上で日本語対応の full-duplex 音声対話モデル LLM-jp-Moshi-v1 を起動し、SSM ポートフォワード経由でブラウザから安全に音声対話できることを検証した記事。

AI SUMMARYThis article walks through deploying LLM-jp-Moshi-v1, a Japanese full-duplex voice dialogue model, on an AWS GPU EC2 instance and securely accessing it via SSM port forwarding without opening inbound ports.

AI要約自作LLMハーネスがプロンプトインジェクション攻撃に耐えられるかを検証した回で、通常ファイルに隠された悪意ある命令をAIが実行してしまうリスクと対策を体験ベースで考察している。

AI SUMMARYThis entry examines whether a home-built LLM harness can resist prompt-injection attacks, exploring real cases where malicious instructions hidden inside ordinary files were silently executed by an AI agent.

AI要約メドレーの新卒エンジニアがJetson Orin Nano Super上にGemma 4を用いたローカルマルチモーダルLLM環境を構築し、その検証手順と実用性を紹介している。エッジデバイスでのプライバシー重視なAI推論の可能性を示す内容。

AI SUMMARYA new engineer at Medley shares how they built a local multimodal LLM environment using Gemma 4 on the Jetson Orin Nano Super, demonstrating practical edge-device AI inference without cloud dependency.

AI要約Genkit GoはAgent Skillsを導入し、専門的な指示やスクリプトをSKILL.mdモジュールにパッケージ化することで、コンテキストウィンドウの肥大化とトークン消費を抑制できるようになった。

AI SUMMARYGenkit Go introduces Agent Skills, a progressive disclosure architecture that packages specialized instructions into modular SKILL.md bundles, reducing context window bloat and token consumption for AI agents.

AI要約ExcelをClaude CodeとMCPで連携させると、AIとの日本語会話だけで高度なマクロを新規作成・修正できることが分かり、単なるデバッグ支援を超えた開発体験が得られる。

AI SUMMARYBy connecting Excel with Claude Code via MCP, the author discovered that natural-language conversation can not only fix existing macros but also generate sophisticated new ones from scratch, dramatically expanding what non-developers can build.

AI要約NetflixはLLMを推薦システムの中核に据えた新アーキテクチャ「GenRec」を紹介し、従来の協調フィルタリングを超えた文脈理解による精度向上を目指している。

AI SUMMARYNetflix introduces GenRec, an LLM-native recommendation architecture that moves beyond traditional collaborative filtering to leverage large language models for richer contextual understanding in content suggestions.

AI要約プロンプト→コンテキスト→ループと進化してきたAI開発のパラダイムが、今度は「グラフエンジニアリング」へ移行しつつあるが、その実態はAIが生成した根拠薄弱な造語である可能性を指摘している。

AI SUMMARYThe article traces the rapid succession of AI-development buzzwords—from prompt to context to loop engineering—and warns that "graph engineering" may be AI-generated slop rather than a meaningful paradigm shift.

AI要約.NET製推論エンジン「TensorSharp」がGGUFモデルをC#のみで実行し、llama.cppとのベンチマーク結果を公開してローカルLLMコミュニティで注目を集めている。

AI SUMMARYTensorSharp, a pure C# inference engine for GGUF models, has published benchmarks against llama.cpp, demonstrating that .NET can be a viable platform for local LLM inference.

AI要約Amazon Bedrockの高度なプロンプト最適化機能により、最大5モデルを同時に比較しながら品質・レイテンシ・コストの観点でプロンプトを最適化できる。従来は数週間かかっていたモデル移行や改善作業が数分で完了するようになった。

AI SUMMARYAmazon Bedrock's Advanced Prompt Optimization lets teams optimize prompts across up to 5 models simultaneously, comparing original versus optimized performance on quality, latency, and cost—reducing model migration effort from weeks to minutes.

AI要約LLM 0.32rc1のコンテンツアドレス可能なログを活用し、OpenAI互換のChat Completions APIサーバーをローカルで起動できる新プラグインがリリースされた。

AI SUMMARYA new LLM plugin launches a local OpenAI-compatible Chat Completions API server, leveraging the content-addressable conversation logs introduced in LLM 0.32rc1 to support stateful multi-turn chats.

AI要約Karpathyのnanochat（約8,000行）を題材に、トークナイザ訓練から事前学習・SFT・強化学習・推論エンジンまでLLM全工程をコードレベルで解説する全8章の技術書。MacBookでも試せる構成で、LLMを「作る側」の視点を身につけられる。

AI SUMMARYA hands-on technical book that walks through every stage of LLM production—tokenizer training, pretraining, SFT, RL, and inference—by reading Karpathy's ~8,000-line nanochat codebase, making the full pipeline accessible even on a MacBook.

AI要約Microsoftは専用サイバーセキュリティモデルを持たない状況から、実効5BパラメータのモデルチューニングでベンチマークCyberGym 95.95%を達成し、Mythosを12点上回った。小規模モデルでも特化訓練により大型モデルを超えられることを示した点で注目される。

AI SUMMARYMicrosoft achieved 95.95% on the CyberGym benchmark using an effectively 5B-parameter model, outscoring the Mythos model by 12 points despite lacking a dedicated in-house cyber model. The result highlights how targeted fine-tuning can let compact models surpass larger specialized competitors.

AI要約HuaweiのACRLは、LLMのRL学習でFSDP/vLLM間の精度差（BF16 vs FP8）による実質的なoff-policy化を適応的に補正し、トークン単位の勾配重み調整でBF16基線を上回る精度をわずか0.1%のオーバーヘッドで実現する。

AI SUMMARYHuawei's ACRL framework monitors the discrepancy between training (FSDP/Megatron) and inference (vLLM/SGLang) engines caused by FP8 vs BF16 precision gaps, then adjusts per-token gradient weights to prevent training collapse while outperforming BF16 baselines across 3B–32B Dense and MoE models.

AI要約夏祭りをテーマにした英語案内インタラクティブ展示を試作し、重いAI処理（音声認識・LLM採点・音声合成）を自宅PCで行いTailscale経由でAndroidクライアントへ結果を返すアーキテクチャを実現した。

AI SUMMARYA developer built an interactive English-guidance exhibit using an Android device as a thin client, offloading speech recognition, LLM scoring, and TTS to a home PC server accessed over Tailscale, demonstrating a practical pattern for running heavy AI workloads remotely on consumer hardware.

AI要約Googleは、リリースから数ヶ月が経過したGemini Enterprise Agent Platformの最新アップデートを発表し、企業や開発者向けに新機能と活用デモを拡充した。

AI SUMMARYGoogle has announced updates to Gemini Enterprise Agent Platform, highlighting new capabilities and expanded resources including demos and guides to help businesses build and deploy agents more effectively.

AI要約ローカルLLMを活用して画像内の個人情報をマスキングする手法を検証し、LLMの適用範囲をテキスト部分に絞ることで実用的な処理速度を達成できることを示した。

AI SUMMARYA practical experiment using local LLMs to mask PII in images found that limiting LLM processing to text regions achieves viable performance, making privacy-safe document handling more feasible.

AI要約Gemma 4 E2BをANEで動かすCore MLバンドルに、ドラフトモデル不要のロスレス投機デコードとKVキャッシュのディスク永続化を実装。出力を一切変えずに推論速度を向上させる具体的な手法と実測値を公開した。

AI SUMMARYA Core ML bundle running Gemma 4 E2B on Apple Neural Engine gains lossless speculative decoding—requiring no draft model—and persistent KV cache, improving inference speed without altering outputs by a single byte.

AI要約AIの競争軸がモデル性能からエージェント運用と安全統制に移行する中、LangGraphを用いたエージェント設計で先に押さえるべき安全要件とチェックリストをまとめた実務向け記事。

AI SUMMARYAs the AI landscape shifts from model benchmarking to agent operations and safety governance, this article provides a practical checklist of security and control requirements to address upfront when building LangGraph-based agents.

AI要約Hugging Faceに「MLX変換済み」として公開されているモデルでも、ロード不能や全文字化けといった致命的な不具合を抱える例があり、著者がBaiduのOCRモデルを題材に既存変換2種を実測して問題を明らかにした。重みファイルが生成できても正常動作するとは限らず、実測による検証が不可欠だと示している。

AI SUMMARYEven models published on Hugging Face as MLX conversions can be broken — one failing to load and another producing garbled output — as the author discovered when benchmarking two existing conversions of Baidu's Unlimited-OCR (3.3B, MIT). The article argues that generating weight files does not guarantee a working model, and only empirical testing can confirm usability.