Local LLM / Open Models page 2/4

AI要約 OllamaをローカルLLMとして導入した記録。LM Studioとの比較やOllama選択の理由、公式サイトからのインストール手順などをまとめている。

EN A hands-on install log for Ollama, a popular local LLM runtime. The author chose Ollama over the GUI-based LM Studio, citing CLI flexibility and future integration potential.

AI要約 Qwenのアーキテクチャを論文から読み解く 概要 Qwenは、Alibaba Cloud（阿里云）が開発するオープンウェイトLLMシリーズである。Qwen-1（2023年9月）からQwen-3（2025年4月）まで急速に進化し、Llama

AI要約 GoogleがエッジデバイスでLLMを効率実行するランタイム「LiteRT-LM」を公開。Pixel Watch 4のSmart ReplyやChromeの要約などがサーバ不要で動作する。

EN Google's LiteRT-LM runtime enables on-device LLM inference on constrained hardware like Pixel Watch, powering Smart Replies and Chrome summaries locally via Gemma models.

AI要約 iPhone実機でMLX・llama.cpp・LiteRT-LM・CoreMLの4ランタイムをベンチマークし、ローカルLLMの推論速度を比較検証した記事。

EN A hands-on benchmark comparing four on-device LLM runtimes—MLX, llama.cpp, LiteRT-LM, and CoreML—running on a physical iPhone to determine which delivers the fastest inference.

AI要約 LM StudioでGemma 4を試した著者が、4つのバリアントの違いを速度・性能の観点から整理・解説した記事。

EN A hands-on breakdown of the four Gemma 4 model variants, written by a developer exploring open-weight LLMs via LM Studio for local self-hosting.

AI要約 OllamaがRC版v0.30.0-rc28を公開。OLLAMA_IGPU_ENABLEを追加し、デフォルトでiGPUを無効化する変更が含まれる。

EN add OLLAMA_IGPU_ENABLE and largely disable iGPUs by default

AI要約 同じ作業をさせるなら、どちらが安いのか。 米国 frontier モデルにそのまま投げる DeepSeek のような低価格モデルを使い、人間が判断・修正・検収する SignalBloom AI の記事「Outsourcing plus Lo

AI要約 LLaMAのアーキテクチャを論文ベースで解説。7B〜65Bモデルを公開データのみで学習し、GPT-3やPaLM-540Bに匹敵する性能を実現した経緯をまとめた記事。

EN A Qiita article unpacking the LLaMA architecture from its paper, explaining how models ranging from 7B to 65B parameters were trained on public data to match GPT-3 and PaLM-540B.

AI要約 OllamaがリリースキャンディデートのRC27を公開。WindowsのCPUビルドにおけるパスの問題に対するワークアラウンドをCIに追加。

EN ci: windows path workaround for CPU build

AI要約 Ollama v0.30.0-rc26はupstream/mainをllama-runner-phase-0ブランチへマージするリリース候補で、server/images.go等でコンフリクトが解消されています。

EN Conflicts: server/images.go server/images_test.go

AI要約 M5 Max 上でローカル LLM を実行し、MoE モデルは GPU 演算、Dense モデルはメモリ帯域幅がそれぞれボトルネックになることを検証。発熱による性能低下も測定した後編レポート。

EN A benchmark report on running local LLMs on Apple M5 Max, finding that MoE models are GPU-bound while Dense models are memory-bandwidth-bound, with thermal throttling effects also measured.

AI要約 プロンプトのみで動作する社会シミュレーション（シミュラクラ）の簡易デモを公開。ローカルLLMなしでも試せるおもちゃレベルの実装を紹介。

EN A lightweight social simulacra demo driven purely by prompts is introduced, allowing users to experiment with social simulation without requiring a local LLM setup.

AI要約 Google の Gemma 4 31B-IT が主張する MMLU-Pro 約 85.2% を NVIDIA B200 上で lm_eval を使って手元再現する手順を詳解した実践ガイド。

EN A step-by-step guide on reproducing Google Gemma 4 31B-IT's claimed ~85.2% MMLU-Pro score on NVIDIA B200 hardware using lm_eval, covering practical pitfalls beyond a single command.

AI要約 ローカルLLM実行エンジン ik_llama.cpp を Windows 向けに自力ビルドする手順を解説。通常の llama.cpp より約3割高速とされる。

EN A practical guide to building ik_llama.cpp on Windows from source, covering a fork of llama.cpp reported to run local LLMs roughly 30% faster than the upstream project.

AI要約 ローカル環境でLLMを動かす際の量子化手法とメモリ最適化の選択肢を整理し、リソース制約とモデル精度のトレードオフを解説した実践的記事。

EN A practical Qiita article exploring quantization techniques and memory optimization strategies for running LLMs locally, examining the tradeoffs between resource constraints and model quality.

AI要約 東京大学鈴村研究室が運用するmdx MaaSのAPIを通じてLLM-jp-4を活用し、文章の要約や構造化情報抽出を行う方法を解説する連載第2回。

EN Second installment of a series on using LLM-jp-4 via the mdx MaaS API, focusing on practical text summarization and structured information extraction techniques.

AI要約 Ollamaがリリース候補版v0.30.0-rc25を公開。Windows on Arm（WoA）クロスコンパイルのCIビルド修正が含まれる。

EN ci: fix WoA cross-compile

AI要約 ローカルLLM実行ツール「Ollama」のv0.30.0リリース候補版（rc24）が公開された。正式版に向けた最終調整段階にあるビルドであり、安定性や互換性の検証が続けられている。

EN version bump

AI要約 ローカルLLM実行ツールのOllamaが、v0.30.0のリリース候補版rc22を公開した。正式版リリースに向けた最終調整段階にあると見られ、安定性や細部の改善が継続されている。

EN version bump

AI要約 ローカル LLM 実行環境 Ollama が v0.30.0 のリリース候補第 21 版を公開した。正式リリースに向けた品質改善が継続されており、開発サイクルの最終段階にあると見られる。

EN Ollama has published v0.30.0-rc21, the 21st release candidate for its upcoming stable version, continuing iterative quality improvements ahead of a full release.

AI要約 Allen AIが地球観測向けモデル「OlmoEarth v1.1」を公開した。前バージョンと比較して推論効率が大幅に向上しており、衛星画像の解析や環境モニタリングなどのタスクに特化した設計が特徴となっている。

EN OlmoEarth v1.1: A more efficient family of Earth observation models

AI要約 OllamaはローカルLLM実行ツールの最新リリース候補v0.30.0-rc20を公開した。正式版v0.30.0に向けた品質向上・バグ修正が中心とみられ、安定性の強化が図られている。

EN Ollama has published v0.30.0-rc20, the latest release candidate ahead of the stable v0.30.0 milestone, focusing on bug fixes and stability improvements for its local LLM runtime.

AI要約 ローカルLLM実行ツールのOllamaがv0.30.0のリリース候補版rc19を公開した。正式版v0.30.0に向けた最終調整段階にあり、安定性や細部の修正が継続されていると見られる。

EN Ollama has published v0.30.0-rc19, a release candidate for the upcoming v0.30.0 milestone, continuing iterative stabilization efforts ahead of the final release.

AI要約 ローカルLLM実行ツール「Ollama」のバージョン0.30.0に向けたリリース候補版rc18が公開された。正式リリース前の最終調整段階にあり、安定性の向上やバグ修正が含まれると見られる。

EN Ollama has published v0.30.0-rc18, the latest release candidate ahead of the upcoming v0.30.0 stable release, likely containing bug fixes and stability improvements.

AI要約 Ollama v0.25.0のリリース候補RC0が公開。CIパイプラインの改善によりリリースビルドおよびローカル開発者ビルドの速度が向上。

EN Ollama v0.25.0-rc0 released with CI pipeline optimizations that speed up release builds and modestly improve local developer build times.

AI要約 ローカル LLM 実行ツール Ollama がバージョン 0.30.0 を公開した。GitHub のリリースタグは rc17 を経て付与されており、モデル実行やランタイム周りの改善が含まれると見られる。ローカル推論基盤としての継続的な機能拡張が示された格好だ。

EN Ollama published v0.30.0, the latest update to its popular local LLM runtime. The release tag, promoted from rc17, signals continued iteration on model execution, runtime stability, and the broader on-device inference experience.

AI要約 IBMがApache 2.0ライセンスで公開した多言語埋め込みモデル「Granite Embedding Multilingual R2」は、100M未満のパラメータ規模ながら32Kトークンの長文コンテキストに対応。12言語をサポートし、同規模帯では最高水準の検索品質を達成したという。

EN Granite Embedding Multilingual R2: Open Apache 2.0 Multilingual Embeddings with 32K Context — Best Sub-100M Retrieval Quality

AI要約 ServiceNow AIがvLLMをV0からV1へ移行した際、強化学習トレーニングで生じた数値的な不一致と再現性の問題を分析。修正を急ぐ前に、ロジット計算やバッチ処理の正確性を検証する重要性を示した。

EN vLLM V0 to V1: Correctness Before Corrections in RL