Qwen 35Bの品質を7つの質問で採点したら、GPT-4に勝てるのは3領域だけだったA hands-on benchmark pitting locally-run Qwen 35B against GPT-4 across seven…
匿名の公開いいねです。記事の保存・お気に入りではなく、Featured、Top 3、重要度、掲載順位には影響しません。仕組みとプライバシーAnonymous public likes are reactions, not saved articles or bookmarks. They do not affect Featured, Top 3, importance, or listing order.How it works and privacy
- RTX 4070でQwen 35Bをローカル動作させ、7項目の質問で GPT-4と比較採点した結果、3領域では明確に優位に立てることが判明した。
- 「賢いモデルほど汎用的」という常識とは別に、ローカルLLMが実用的に刺さる用途が存在することを示している。
A hands-on benchmark pitting locally-run Qwen 35B against GPT-4 across seven questions found that the open model wins in exactly three domains, challenging the assumption that local LLMs are purely for experimentation and highlighting specific practical use cases for consumer-grade GPUs.
本ページの本文と要約は AI による自動生成です。日本語版と英語版は言語ごとに独立して生成されるため、表現や詳しさが異なる場合があります。正確性は元記事 (zenn.dev) をご確認ください。The body and summaries are AI-generated independently for each language, so wording and detail may differ. Verify accuracy at the original source (zenn.dev).
要約と収集メタデータに基づく AI 解説。元記事全文の転載・翻訳ではありません。AI explainer based on the summaries and collected metadata, not a copy or translation of the full source article.
7領域の比較
RTX 4070でローカル動作させたQwen 3.5系35BとGPT-4を、実際の業務で使う7領域の質問で比較したところ、Qwen 35Bが明確に優位となる領域は3つだった。モデル全体の賢さだけでは捉えにくい、ローカルLLMが実用的に刺さる用途の存在を示す結果となった。
業務クエリで採点
比較対象は、量子化とCPUオフロードを組み合わせたQwen 3.5系35BとGPT-4。生成条件をそろえるため、temperatureは両モデルとも0.3に統一された。質問はコード生成、要約、翻訳、論理推論、長文処理、日本語ネイティブ性、JSON構造化出力の7領域で構成されている。
合成されたベンチマーク問題ではなく、日常業務で実際にLLMを利用する場面から、月次で使っているクエリの型を抽出した点が特徴だ。公開指標の数値だけでなく、手元の業務を置き換えられるかどうかに焦点を当てている。
3段階の基準
評価は細かな点数ではなく、○、△、×の3段階で行われた。○は「実用に耐える」、△は「レビューすれば使える」、×は「使うと事故る」を意味する。性能差を数値として細分化するより、業務へそのまま投入できるのか、人による確認が必要なのか、利用を避けるべきなのかを判別するための採点方法である。
速度と品質
Qwen 3.5系はApache 2.0で配布され、公開ベンチマークではフロンティアモデルに肉薄する数値を出しているとされる。一方、公開ベンチマークは参考値にとどまり、実運用の判断には手元の業務クエリでの再評価が必要だと説明されている。また、速度と品質は同じモデルでも別々に測る必要があり、今回は品質軸に限定した比較となっている。
Locally-run Qwen 35B
A hands-on benchmark compares a locally run Qwen 35B with GPT-4 across seven questions, focusing on output quality rather than speed. The result matters because Qwen 35B won in exactly three domains, showing that a local model can have practical strengths even when it is not the stronger general-purpose option.
The local setup used a Qwen 3.5-series 35B model with quantization and CPU offloading on an RTX 4070. Both models used a temperature setting of 0.3 to keep that part of the comparison consistent.
Across seven questions
The evaluation covered seven areas drawn directly from the author’s routine use of LLMs: code generation, summarization, translation, logical reasoning, long-text processing, native Japanese quality, and structured JSON output.
Rather than using synthetic benchmark questions, the test extracted query patterns that the author actually runs each month. The aim was therefore not to reproduce a public benchmark score, but to determine whether the local model could replace GPT-4 for specific work tasks.
Exactly three domains
Each result received one of three ratings. A circle meant the output was practical enough to use, a triangle meant it could be used after review, and a cross indicated that using it could cause problems.
This deliberately coarse scale emphasized operational replaceability instead of fine-grained numerical differences. Across the seven tested areas, Qwen 35B held a clear advantage in three. The material does not identify those three areas, but the overall result supports a limited conclusion: model usefulness varied by task, and the locally run model was not uniformly outperformed.
Practical use cases
The article separates quality testing from performance testing. It notes that KV cache optimization produced an eightfold speed improvement in a separate discussion, alongside a long-context trade-off, but does not use that result to infer quality.
It also says public benchmarks report strong figures for the Apache 2.0-distributed Qwen 3.5 series. Even so, the author treats those scores only as references and argues that deployment decisions require retesting with actual work queries.
ポコとTECHガイドPoko & TECH Guide
ポコと当サイトのTECHガイドが、記事の要約と収集した情報から読みどころを語るAI生成の対話です。Poko and TECH Dashboard's own TECH Guide discuss the article's highlights in an AI-generated conversation based on its summary and collected source details.
- ポコPokoQwen 35BがGPT-4に7領域中3領域で勝ったって、これって大きいこと？Qwen 35B beat GPT-4 in three of seven areas. Is that actually a big deal?
- TECHガイドTECH Guideこの記事の評価では、業務寄りの3領域で明確に優位だった点は大きいのう。ただし、全体でGPT-4より上という意味ではないぞ。In this test, it is meaningful: Qwen had a clear edge in three of seven work-focused areas. But the piece does not claim Qwen is better overall.
- ポコPoko「量子化＋CPUオフロード構成」って何？ つまりどういう仕組み？What does “quantization plus CPU offloading” mean here? How does that setup work?
- TECHガイドTECH Guide本文の構成はその2つの組み合わせじゃ。量子化は数値の精度を下げて軽くし、CPUオフロードは負荷の一部をGPUからCPUへ移す仕組みじゃよ。The setup uses two techniques: quantization lowers numerical precision to lighten the model, while CPU offloading moves some of the load from the GPU to the CPU.
- ポコPoko僕なら普段の作業も同じように分けて、○になったものだけ任せたいな。へえ、それなら実用的かも！I’d test my regular tasks the same way and delegate only those rated usable. That feels pretty practical!
- TECHガイドTECH Guide現実的じゃ。ただし評価条件はRTX 4070、量子化＋CPUオフロード、両モデルtemperature 0.3で、速度は品質と別に測るのじゃよ。That’s sensible. Just remember the test used an RTX 4070, quantization plus CPU offloading, and temperature 0.3 for both models; speed was treated separately from quality.
