#inference 9 total

AI要約 Amazon SageMaker AI の非同期推論が InvokeEndpointAsync API のリクエストボディへ直接ペイロードを送信できるインライン形式に対応。S3 への事前アップロードが不要となり、ワークフローが簡素化される。

EN Amazon SageMaker AI Async Inference now supports inline payloads in the InvokeEndpointAsync API request body, removing the requirement to pre-upload inference data to Amazon S3 before each call.

AI要約 NVIDIA GTC Taipei 2026の基調講演で発表されたノートPC向けSoC「RTX Spark」と据え置き型「DGX Station」を題材に、ローカルLLM推論においてGPUコア数よりもメモリ帯域幅と容量が性能を左右する理由を物理的な観点から解説した技術記事。

EN A technical deep-dive into NVIDIA's RTX Spark (128 GB unified memory) and DGX Station announced at GTC Taipei 2026, arguing that memory bandwidth and capacity—not raw compute—are the true bottleneck for local LLM inference.

AI要約 ローカルLLM実行エンジン ik_llama.cpp を Windows 向けに自力ビルドする手順を解説。通常の llama.cpp より約3割高速とされる。

EN A practical guide to building ik_llama.cpp on Windows from source, covering a fork of llama.cpp reported to run local LLMs roughly 30% faster than the upstream project.

AI要約 ローカル環境でLLMを動かす際の量子化手法とメモリ最適化の選択肢を整理し、リソース制約とモデル精度のトレードオフを解説した実践的記事。

EN A practical Qiita article exploring quantization techniques and memory optimization strategies for running LLMs locally, examining the tradeoffs between resource constraints and model quality.

AI要約 LangChain エコシステム向けの Fireworks AI 統合パッケージ「langchain-fireworks」がバージョン 1.4.0 にアップデートされた。本リリースは通常のメンテナンス更新と見られ、Fireworks AI の高速推論サービスを LangChain から利用するための連携機能が改善されている。

EN Changes since langchain-fireworks==1.3.1 release(fireworks): 1.4.0 ( #37582 ) feat(fireworks): migrate to fireworks-ai 1.x SDK ( #37581 ) chore(model-profiles): refresh model profile data ( #37574 ) c

AI要約 Google AI EdgeのLiteRT-LMが、モバイル・エッジ環境でGemma 4を高度に最適化して実行するための本番対応インフラを提供。

EN Google AI Edge’s LiteRT-LM provides a production-proven, highly optimized infrastructure for running Gemma 4 across cross-platform mobile and edge environments. It actively unlocks the model's native