NEW Local Models · 
Qiita LLM
12GB×2 の Blackwell + WSL2 で exllamav3 の Tensor Parallel を動かすまで — 「WSL では NCCL 無理」の壁と gather カーネルのレース This article documents how to enable exllamav3 Tensor Parallel inference on dual 12 GB Bla…
重要度 Medium Medium priority 重要度 Medium · 技術記事 · Local LLM / Open Models Medium priority · technical post · Local LLM / Open Models
AI要約 デュアル 12GB Blackwell GPU と WSL2 という制約環境で exllamav3 の Tensor Parallel 推論を実現するまでの試行錯誤を解説しており、NCCL の WSL 非対応問題や gather カーネルの競合状態への対処法を具体的に示している。
EN This article documents how to enable exllamav3 Tensor Parallel inference on dual 12 GB Blackwell GPUs under WSL2, detailing workarounds for NCCL incompatibility with WSL and race conditions in the gather kernel.
NO PREVIEW