Mistral Large 4Mistral Large 4
匿名の公開いいねです。記事の保存・お気に入りではなく、Featured、Top 3、重要度、掲載順位には影響しません。仕組みとプライバシーAnonymous public likes are reactions, not saved articles or bookmarks. They do not affect Featured, Top 3, importance, or listing order.How it works and privacy
Mistral Large 4のSVG生成力を、Claude Opus 5.5、GPT-6.1-sol、Gemini 3.8 Flashと同じ奇抜な火星の画像課題で比較し、飽和した評価指標では見えにくいモデル間の差を判断できる。
Mistral Large 4 is tested against Claude Opus 5.5, GPT-6.1-sol, and Gemini 3.8 Flash on the same unusual SVG prompt, revealing differences that saturated benchmarks may miss.
本ページの本文と要約は AI による自動生成です。日本語版と英語版は言語ごとに独立して生成されるため、表現や詳しさが異なる場合があります。正確性は元記事 (simonwillison.net) をご確認ください。The body and summaries are AI-generated independently for each language, so wording and detail may differ. Verify accuracy at the original source (simonwillison.net).
要約と収集メタデータに基づく AI 解説。元記事全文の転載・翻訳ではありません。AI explainer based on the summaries and collected metadata, not a copy or translation of the full source article.
SVG生成力
Mistral Large 4のSVG生成力を、Claude Opus 5.5、GPT-6.1-sol、Gemini 3.8 Flashと比較する試みが紹介された。飽和した評価指標では捉えにくいモデル間の差を、同一の奇抜な画像課題によって見ようとする点が中心となっている。
火星の画像課題
各モデルに与えられた指示は、「網タイツ姿のアルマジロが火星で道路を不正横断しているSVGを生成する」というものだ。一般的な題材ではなく、アルマジロ、網タイツ、道路の横断、火星という複数の要素を一つのSVGとして生成させる内容になっている。
4モデル比較
実行には「llm -m」に各モデル名を指定する形式が使われ、4モデルすべてに同じ英文のプロンプトが入力された。対象はclaude-opus-5.5、gpt-6.1-sol、gemini-3.8-flash、mistral/mistral-large-4で、それぞれデフォルトの推論レベルが用いられている。同じ課題と指示文をそろえることで、生成されたSVGをモデルごとに比較できる構成だ。
飽和した評価指標
発端となったコメントでは、「ベンチマークは飽和している」と述べたうえで、最先端モデルは「網タイツ姿のアルマジロが火星で道路を不正横断する」ような課題で試されると表現されている。これを実際のSVG生成指示として4モデルに与え、飽和した評価指標だけでは見えにくい差を判断する材料としている。
Mistral Large 4
Mistral Large 4 is compared with Claude Opus 5.5, GPT-6.1-sol, and Gemini 3.8 Flash on the same unusual SVG-generation task. The comparison matters because it is intended to expose differences between frontier models that may be difficult to see through saturated benchmarks.
The test follows a comment that describes the benchmark as saturated and imagines frontier models being tested with “an armadillo in fishnet tights jaywalking on Mars.” That scenario is then turned into a direct generation request for all four models.
Same Unusual SVG Prompt
Each model receives exactly the same instruction: “Generate an SVG of an armadillo in fishnet tights jaywalking on Mars.” The prompt combines a specified image format with an unusual scene, providing a common task for comparing the models’ SVG generation.
The commands identify the models as claude-opus-5.5, gpt-6.1-sol, gemini-3.8-flash, and mistral/mistral-large-4. Keeping the wording unchanged across those commands makes the generated SVGs the central point of comparison rather than giving any model a differently phrased request.
The task does not substitute a different feature or a conventional benchmark score for the comparison. Instead, it uses the same distinctive visual request to make model differences observable through their generated results.
Default Reasoning Levels
Default reasoning levels are used for each model. This keeps the test tied to each model’s default reasoning setting rather than introducing separately specified reasoning levels into the commands.
The comparison therefore consists of four models, one shared SVG prompt, and their default reasoning levels. Its purpose is to judge differences in SVG-generation capability through an unusual image task, addressing the concern that saturated evaluation metrics may no longer make distinctions between frontier models easy to identify.
ポコとTECHガイドPoko & TECH Guide
ポコと当サイトのTECHガイドが、記事の要約と収集した情報から読みどころを語るAI生成の対話です。Poko and TECH Dashboard's own TECH Guide discuss the article's highlights in an AI-generated conversation based on its summary and collected source details.
- ポコPoko4つのモデルに、同じ奇抜な火星のお題を出したんだね。これって大きいこと?Four models got the same bizarre Mars prompt. Is that a meaningful comparison?
- TECHガイドTECH Guide同じ条件で比べることで、飽和した評価指標では見えにくい差を探れる、という試みだね。Using the same unusual task can expose differences that saturated benchmarks may not show.
- ポコPokoそもそもSVGって何? ふつうの画像とは違うの?What is SVG, anyway? Is it different from a regular image?
- TECHガイドTECH GuideSVGは、線や図形などを文字のデータで表す画像形式だよ。今回はその形式の絵を生成させているんだ。SVG is an image format that describes lines and shapes as text data. Here, each model was asked to generate one.
- ポコPokoぼくなら変なお題を考えて、4つの絵を並べながら違いを探してみたいな。I’d invent a strange prompt, line up all four images, and look for differences.
- TECHガイドTECH Guide楽しそうだね。ただ今回は、同じ一つのお題と各モデルのデフォルト推論レベルで見えた差として受け止めよう。That sounds fun. Just treat this as a comparison under one shared prompt and each model’s default reasoning level.

