#on-device-ai19 total

AI要約Apple Silicon 上で Core ML を使い Gemma 4 12B を 128K トークンのコンテキスト長で動作させる手順を解説した記事で、ローカル環境での大規模モデル活用の可能性を示している。

AI SUMMARYThis article explains how to run Gemma 4 12B with a 128K context window on Apple Silicon using Core ML, demonstrating that large open models can be deployed locally without cloud infrastructure.

AI要約わずか1.15GBのメモリで動作する8Bパラメータの1-bit LLM「Bonsai」をローカル環境で活用する方法を解説。超軽量ながら実用的な推論が可能で、一般的なPCでも大規模モデルを手軽に運用できる点が注目される。

AI SUMMARYThis guide covers how to run Bonsai, a 1-bit quantized 8B LLM that fits in just 1.15 GB, entirely on local hardware. Its extreme compression makes powerful language models accessible on everyday consumer machines without cloud dependency.

AI要約M5 Mac上でGemma 4 12BとGemma 3を実際に比較し、エンコーダーフリー設計による推論速度の向上が実用レベルで体感できるかを検証した記事。ローカルLLM選定の参考になる実測データを提供している。

AI SUMMARYA hands-on benchmark comparing Gemma 4 12B and Gemma 3 on an M5 Mac, examining whether the encoder-free architecture delivers real-world inference speed gains for local LLM users.

AI要約GoogleはGemma 4 E2BモデルとTensor SDKベータ版を公開し、Pixel 10上でのオンデバイスAI推論をローカルで実装できる環境を整えた。これにより開発者はクラウド依存なしに高度なAI機能をAndroidアプリへ組み込めるようになる。

AI SUMMARYGoogle released Gemma 4 E2B alongside a Tensor SDK beta, enabling developers to run on-device AI inference directly on Pixel 10 hardware. This lowers the barrier for building advanced AI features in Android apps without relying on cloud services.

AI要約Index SLMは、限られたパラメータ数で高い性能を実現する小型言語モデルシリーズであり、効率的なエッジ・オンデバイス推論への応用が期待される。

AI SUMMARYIndex SLM introduces a series of small language models designed to achieve competitive performance at reduced parameter counts, enabling practical deployment in edge and on-device scenarios.

AI要約本論文は、オンデバイス環境でリアルタイム字幕翻訳を実現するため、ワークロードの特性に基づいてモデルや処理を動的に最適化する手法を提案する。これにより、限られた計算資源でも低遅延かつ高品質な翻訳が可能になる。

AI SUMMARYThis paper proposes a workload-driven optimization framework for real-time subtitle translation running entirely on-device, dynamically adapting model execution to meet latency constraints without sacrificing translation quality.

AI要約macOS上で動作するApple IntelligenceのローカルLLMをPython経由で直接呼び出す手法を解説した記事。オンデバイスAIをサードパーティアプリから活用できる点が注目される。

AI SUMMARYThis article explains how to invoke Apple Intelligence's on-device LLM directly from Python, enabling developers to leverage Apple's private local model in their own applications without relying on cloud APIs.

AI要約GoogleはWebブラウザ上で高速なAI推論を実現するLiteRT.jsを発表した。WebGPUなどを活用しオンデバイスAIをWebアプリへ容易に統合できる点が注目される。

AI SUMMARYGoogle announced LiteRT.js, a high-performance AI inference library for the web that leverages WebGPU to enable fast, on-device model execution directly in browsers.

AI要約LenovoのAI NowとOllamaを対象に、ローカルLLMツールとしての機能・使いやすさ・パフォーマンスを徹底比較した記事。プライバシーを重視しオフラインでAIを活用したいユーザーが自分に最適なツールを選ぶ際の実践的な判断材料を提供している。

AI SUMMARYLenovo AI Now and Ollama are evaluated head-to-head as local LLM runners, covering ease of setup, performance, and use-case fit for users seeking private, offline AI access.

AI要約Microsoft が、クラウドに依存せずデバイス上で AI 推論を実行できる Foundry Local を紹介。応答性・プライバシー・オフライン動作といったエッジ AI 開発の課題に対応し、アプリやデバイスへの AI 組み込みを効率化する。

AI SUMMARYMicrosoft's Foundry Local enables on-device AI inference, tackling edge AI challenges like responsiveness, privacy, and offline operation to simplify embedding AI into apps and devices.

AI要約Google DeepMind の Gemma 4 12B が Google AI Edge により 16GB RAM の一般的なノートPCでローカル動作可能になり、マルチモーダル解析と自律的なエージェントタスクをクラウドに送らず実行できるようになった。

AI SUMMARYGoogle DeepMind's Gemma 4 12B now runs locally on everyday 16GB-RAM laptops via Google AI Edge, enabling multimodal analysis and autonomous agentic workflows without sending any data to the cloud.

AI要約Google がリリースした Gemma 4 12B は、エンコーダーレスの新しいマルチモーダルアーキテクチャを採用した密結合モデルで、コンシューマー向けデバイス上での高性能なローカル AI 実行を実現する。開発者ガイドでは実装方法や活用事例を詳しく解説している。

AI SUMMARYGoogle's Gemma 4 12B is a dense, multimodal model that adopts a novel encoder-free architecture, enabling high-performance local AI execution on consumer devices. The developer guide details its implementation and practical use cases.

AI要約Reachy Miniロボットがクラウド不要の完全ローカルLLM構成で動作可能になり、プライバシーとオフライン環境での利用が大幅に改善された。

AI SUMMARYReachy Mini robot now runs entirely on local LLMs without cloud dependency, enabling private, offline conversational interactions and broader deployment flexibility.

AI要約Google は Tensor ML SDK をベータ版に昇格し、LiteRT（旧 TensorFlow Lite）と統合した。開発者は Pixel 10 の TPU 上で高性能な機械学習モデルを直接構築・展開でき、エッジ推論の効率化が期待される。

AI SUMMARYGoogle's Tensor ML SDK enters Beta with LiteRT integration, letting developers build and deploy high-performance machine learning models directly onto the TPU of Pixel 10 devices for faster on-device edge inference.

AI要約Android向けGoogle AI Edge GalleryがオープンソースのMCPに実験的対応し、Gemma 4がオンデバイスで外部ツールと連携可能になった。通知やセッション継続機能も加わり、ローカル動作のAIエージェント体験が向上する。

AI SUMMARYGoogle's AI Edge Gallery app adds experimental Model Context Protocol support, letting Gemma 4 coordinate with external tools fully on-device. New notifications and session continuity make local AI agents more practical and continuous.

AI要約Google AI EdgeのLiteRT-LMが、モバイルやエッジ環境でGemmaなどのLLMを高度に最適化して高速実行する本番対応インフラを提供。クロスプラットフォームでオンデバイス生成AIを実現し、開発を加速する。

AI SUMMARYGoogle AI Edge's LiteRT-LM provides a production-proven, highly optimized runtime for running Gemma and other LLMs at blazing speed across mobile and edge devices, enabling cross-platform on-device GenAI.

AI要約Appleは2026年のSwift Student Challengeの優勝者を発表した。学生開発者たちはSwiftやXcodeを駆使し、AIとアクセシビリティを組み合わせたアプリを制作。視覚障害者支援や学習補助など、社会課題に取り組むプロジェクトが評価された。

AI SUMMARYMeet four Swift Student Challenge winners who are creating innovative apps that leverage AI and focus on accessibility.

AI要約Google DeepMindがオープンモデルの最新世代「Gemma 4」を発表。同規模のオープンモデルと比較してバイト単位で最も高性能だと主張し、研究者や開発者がローカル環境やカスタム用途で利用しやすい点を訴求している。

AI SUMMARYGemma 4: Our most intelligent open models to date, purpose-built for advanced reasoning and agentic workflows.