#gpu21 total

AI要約AIファクトリーの高密度化に伴い、従来の電力配電方式では非効率が生じているため、NVIDIAは800VDCアーキテクチャへの移行を推進している。これによりラック単位での電力損失を削減し、大規模GPUクラスタの性能向上を支える。

AI SUMMARYNVIDIA outlines why traditional AC power distribution struggles to keep pace with modern AI compute density, and makes the case for an 800V DC power architecture that reduces conversion losses and enables more efficient scaling of GPU-dense AI factories.

AI要約vLLM複数常駐によるGPUメモリ衝突ハングを修正した後も原因不明のホスト凍結が続き、ログ・クラッシュダンプ一切なしの症状から熱暴走という新仮説に至るまでの調査過程を記録した記事。

AI SUMMARYAfter fixing GPU memory profiling conflicts between co-resident vLLM instances, the author found the host still froze silently with no logs or crash dumps, and documents the investigation that led to a thermal-runaway hypothesis.

AI要約フロンティアAIラボのMirendilがGoogle CloudのAI Hypercomputerを採用し、TPUとNVIDIA GPUを組み合わせてモデルの事前学習・事後学習に活用することが発表された。主要AIラボのGoogle Cloud採用が相次ぐ中、新興スタートアップへの広がりを示す動きとして注目される。

AI SUMMARYFrontier AI startup Mirendil has selected Google Cloud's AI Hypercomputer—combining Google TPUs and NVIDIA GPU infrastructure—to power its model pre-training and post-training workloads, underscoring Google Cloud's growing dominance as the platform of choice for cutting-edge AI labs.

AI要約UiPathはGoogle CloudのAI Hypercomputer上に高性能GPUプラットフォームを構築し、数百のGPUを連携させることでエンタープライズ向けエージェントAIの大規模展開を実現した。

AI SUMMARYUiPath leveraged Google Cloud's AI Hypercomputer to build a high-performance GPU platform capable of orchestrating hundreds of GPUs, enabling reliable large-scale agentic AI for enterprise automation workloads.

AI要約MetaはInstagram・Facebook向け広告推薦基盤モデルGEMのトレーニング効率を2倍（MFU 20〜25%）に引き上げつつ、計算量を4倍にスケールさせることに成功した。

AI SUMMARYMeta achieved a 2x improvement in end-to-end training efficiency for GEM, its ads recommendation foundation model, reaching 20–25% MFU while scaling training FLOPs 4x on thousands of latest-generation GPUs.

AI要約ローカルLLMを快適に動かすには、メモリ容量・メモリ帯域・MoEアーキテクチャへの対応・初回トークン生成速度(TTFT)という4軸でハードウェアを評価することが重要だと解説した記事。GPU・CPUオフロード・専用アクセラレータの選び方に実践的な指針を提供している。

AI SUMMARYThis article explains how to choose hardware for running local LLMs by evaluating four key axes: memory capacity, memory bandwidth, MoE architecture support, and time-to-first-token (TTFT), offering practical guidance for selecting GPUs, CPU offload setups, and dedicated accelerators.

AI要約llm-dに協調タイムスライシング機能が導入され、強化学習の推論・訓練ジョブをGPU上でインターリーブすることでアクセラレータの遊休時間を大幅に削減できるようになった。

AI SUMMARYllm-d now supports cooperative time-slicing for RL workloads, allowing inference and training jobs to interleave on the same GPUs and significantly reducing accelerator idle time.

AI要約NVIDIAは医療物理シミュレーション向け初のGPUアクセラレーション対応オープンソースフレームワークを公開した。放射線治療などの計算を大幅に高速化し、研究・臨床応用の発展に貢献することが期待される。

AI SUMMARYNVIDIA has open-sourced its first GPU-accelerated medical physics simulation framework, enabling dramatically faster radiation therapy and related calculations that could accelerate both research and clinical workflows.

AI要約Ollama v0.32.2-rc0 では、Linux 環境の CUDA v12 に Compute Capability 10.0 対応が追加され、最新世代の NVIDIA GPU でのローカル LLM 実行が可能になります。

AI SUMMARYOllama v0.32.2-rc0 adds Compute Capability 10.0 support for Linux under CUDA v12, enabling local LLM inference on the latest generation of NVIDIA GPUs.

AI要約Ollamaでモデルごとに同時実行数を制限しても、複数モデルの並列利用によりGPUリソースが枯渇し過負荷が発生するケースがあることを解説した記事。適切な運用には全体的なリソース管理が必要だと示している。

AI SUMMARYEven with per-model concurrency limits configured in Ollama, GPU resource exhaustion can still occur when multiple models run simultaneously, highlighting the need for holistic resource management beyond per-model settings.

AI要約Hugging FaceがKernelsプラットフォームを大幅に刷新した。最適化されたGPUカーネルの統合・共有の仕組みが改善され、ローカル環境でのLLM推論の高速化と開発体験の向上が期待できる。

AI SUMMARYHugging Face has revamped its Kernels platform, making it significantly easier to integrate and share optimized GPU kernels within inference pipelines, delivering better performance for local LLM deployments.

AI要約AnthropicのClaudeモデルが、Microsoft AzureにてNVIDIAの最新GPU「GB300 Blackwell Ultra」上での稼働に正式対応した。これにより、クラウド上でのAI推論の速度と処理効率が大幅に向上することが期待される。

AI SUMMARYAnthropic's Claude models are now available on NVIDIA's GB300 Blackwell Ultra GPUs within Microsoft Azure, enabling significantly faster and more efficient AI inference for large-scale cloud deployments.

AI要約WhichLLMは自分のハードウェアで最も高性能なローカルLLMをコマンド1発で推薦するOSSのCLIツールで、パラメータ数ではなくベンチマーク品質・VRAM適合・推定速度を統合したスコアで選定する。

AI SUMMARYWhichLLM is an open-source CLI that recommends the best-performing local LLM for your own hardware, scoring candidates by benchmark quality, VRAM fit, and estimated speed rather than raw parameter count.

AI要約NVIDIAとAWSが提携し、低レイテンシ推論や高速ベクトル検索、優れたGPUの価格性能を組み合わせ、運用の複雑さを増やさずにスケール可能なAI本番インフラの構築を支援すると発表した。

AI SUMMARYNVIDIA and AWS are collaborating to bring AI to production at scale, combining low-latency inference, fast vector search and strong GPU price-performance without added operational complexity.

AI要約NVIDIAの最新AIサーバーはジャグジー（38〜40°C）を超える最大45°Cの冷却液で動作可能になり、電力を消費する冷却装置（チラー）への依存を減らせる。これによりAIデータセンターの冷却効率と省エネ性能が大幅に向上する。

AI SUMMARYNVIDIA's newest AI servers can run cooling liquid up to 45°C — hotter than a hot tub — letting AI data centers cut their reliance on power-hungry chillers and significantly improve energy efficiency.

AI要約NVIDIA RTX PRO 4500 Blackwell Server Edition GPUを搭載したAmazon EC2 G7インスタンスが一般提供開始。AIインファレンス、グラフィックス、データ分析ワークロード向けの高性能GPU高速化を実現します。

AI SUMMARYAnnouncing the general availability of Amazon Elastic Compute Cloud (Amazon EC2) G7 instances, delivering high performance GPU acceleration for AI inference, graphics, and data analytics workloads.

AI要約Metaが、AI開発を支えるコンピュートパワーの基礎を解説。GPU・CPU・独自のカスタムシリコン「MTIA」がどのように連携し、増大するAI処理需要やイノベーションを支えているかを紹介する解説記事。

AI SUMMARYMeta explains the fundamentals of compute power and how GPUs, CPUs, and its custom MTIA silicon work together to support AI innovation and meet rapidly growing computing demands.

AI要約Microsoft Foundry Managed Computeが発表され、オープンソースやカスタムAIモデルをフロンティアモデルと同じエンドポイント・SDK・請求体系でホストできるGPU PaaSが提供される。

AI SUMMARYMicrosoft announced Foundry Managed Compute, a new GPU platform-as-a-service that lets developers host open-source and custom AI models behind the same endpoints, SDKs, and billing as frontier models.

AI要約Google Cloud と NVIDIA の共同開発者コミュニティが設立1年で会員10万人を達成し、AI・GPU インフラを活用する開発者向けの支援やリソース提供を強化する方針を示した。

AI SUMMARYThe joint Google Cloud and NVIDIA developer community reached 100,000 members in its first year, reaffirming its focus on giving builders advanced AI and GPU infrastructure, tools, and resources.