「1-bit 8B×8 と Q4×1 の比較がないと意味ないだろ」と言われたのでRTX 4080で実測した 「1-bit 8B×8 と Q4×1 の比較がないと意味ないだろ」と言われたのでRTX 4080で実測した
AI 3 行サマリ
TL;DR 前回の Bonsai-8B 記事に「8B 1-bit×8 のアンサンブルと dense 8B Q4×1 の比較がないと意味ない」というコメントをもらったので、RTX 4080 (16GB) で実測した HumanEval 164
※ この記事の本文は近日中に AI が生成して差し替わります。現時点では上記サマリをご参照ください。
元記事を読む
zenn.dev
本ページの本文・要約は AI による自動生成です。正確性は元記事 (zenn.dev) をご確認ください。