Home›Local LLM / Open Models›「Hy4 Preview」の紹介
Introducing Hy4 Preview

「Hy4 Preview」の紹介Introducing Hy4 Preview

元記事を読むRead original articlesimonwillison.net(新しいタブで開きます)(opens in a new tab)
AI2 点サマリ2 key points
  • Hy4 Previewは、総7700億・稼働490億パラメータと100万トークンのコンテキストを備えるTencentのテキスト専用オープンウェイトLLMです。
  • 推論設定を含むチャットテンプレートも公開され、長文処理やモデル能力の検証に役立ちます。
  • Hy4 Preview is Tencent's text-only open-weight LLM with 770B total, 49B active parameters and a 1M-token context.
  • Its chat template helps users assess reasoning and long-context behavior.

本ページの本文と要約は AI による自動生成です。日本語版と英語版は言語ごとに独立して生成されるため、表現や詳しさが異なる場合があります。正確性は元記事 (simonwillison.net) をご確認ください。The body and summaries are AI-generated independently for each language, so wording and detail may differ. Verify accuracy at the original source (simonwillison.net).

要約と収集メタデータに基づく AI 解説。元記事全文の転載・翻訳ではありません。AI explainer based on the summaries and collected metadata, not a copy or translation of the full source article.

Hy4 Preview

Hy4 Previewは、中国企業Tencentによるテキスト入力専用のオープンウェイトLLMで、画像入力には対応しない。大規模なパラメータ数と100万トークンのコンテキストに加え、推論設定を含むチャットテンプレートが公開されている点が主な特徴だ。

パラメータ

総パラメータ数は770B、稼働パラメータ数は49Bとされる。モデル全体の規模と、処理時に稼働する規模がそれぞれ示されている。Hugging Face上のサイズは1.56TBで、公開された重みのデータ量も大きい。

Hy3との比較

7月の従来モデルHy3は、総295Bパラメータ、稼働21Bパラメータ、256,000トークンのコンテキスト、598GBだった。Hy4 Previewでは総パラメータと稼働パラメータが増え、コンテキストは1Mトークン、サイズは1.56TBへ拡大している。Hy3との数値比較から、モデル規模と扱える文脈長の双方が大きくなったことが分かる。

推論設定

Hugging Faceでは、Hy4のchat_template.jinjaも確認できる。テンプレート内では、reasoning_effortが定義されていない場合にhighが設定される。指定値として扱われるのはhighとno_thinkで、reasoning_effortがNoneの場合には、no_thinkまたはhighであるべきだとする例外が発生する。このテンプレートは、推論設定を含むモデルの能力や長いコンテキストでの挙動を確認する材料になると説明されている。

Hy4 Preview

Hy4 Preview is a new open-weight, text-input LLM from Chinese company Tencent. It matters for its scale and long context: the model has 770B total parameters, 49B active parameters, and a 1M-token context window.

The model does not include vision input. Its published size on Hugging Face is 1.56TB.

Size increase from Hy3

The announcement describes Hy4 Preview as a substantial size increase over Tencent’s previous Hy3 model from July. Hy3 had 295B total parameters and 21B active parameters, compared with Hy4 Preview’s 770B total and 49B active parameters.

The context window has also expanded. Hy3 supported a 256,000-token context, while Hy4 Preview offers a 1M-token context window. The listed model size rose from 598GB for Hy3 to 1.56TB for Hy4 Preview.

Model chat templates

The source highlights model chat templates as a way to better understand model capabilities. Hy4 Preview’s chat_template.jinja is available on Hugging Face and exposes handling for a reasoning_effort setting.

According to the displayed template section, reasoning_effort defaults to “high” when it is not defined. The accepted values shown are “high” and “no_think.” If the value is outside those options, the template raises an error. It includes a specific error for a value of None, stating that reasoning_effort should be “no_think/high.”

Reasoning and long-context behavior

The published chat template provides a direct view of how Hy4 Preview handles its reasoning setting. Together with the model’s 1M-token context window, the template can help users assess its reasoning and long-context behavior.

Hy4 Preview is categorized as a local LLM and tagged for LLMs, long context, mixture of experts, open-weight models, newsletters, and Tencent.

ポコとTECHガイドPoko & TECH Guide

ポコと当サイトのTECHガイドが、記事の要約と収集した情報から読みどころを語るAI生成の対話です。Poko and TECH Dashboard's own TECH Guide discuss the article's highlights in an AI-generated conversation based on its summary and collected source details.

  1. ポコPokoこれは普段の何が変わるの? 長い資料をまとめて読ませたり、AIの考え方を確かめたりしやすくなるのかな。What changes in everyday use? Does this make it easier to give AI a long document and check how it reasons?
  2. TECHガイドTECH Guideそうじゃのう。この記事では、100万トークンの長い文脈を扱え、推論設定入りのテンプレートで能力を確かめやすいとしておる。That’s the idea. The article says it can handle a 1M-token context, and its template includes reasoning settings that help people assess its behavior.
  3. ポコPoko前はできなかったの? 前のHy3と比べて、どこが変わったんだろう。Couldn’t the earlier version do that? What changed compared with Hy3?
  4. TECHガイドTECH Guide記事にある比較では、Hy3は文脈が25万6000トークンで、Hy4 Previewは100万トークンじゃ。総パラメータも2950億から7700億へ増えておる。The comparison in the article says Hy3 had a 256,000-token context, while Hy4 Preview has 1M. Total parameters also rose from 295B to 770B.
  5. ポコPokoへえ、いちばんの収穫は、かなり長い文章を扱える規模になったことだね。しかも中身を検証する手がかりもあるんだ。Wow, the big takeaway is that it can work with much longer text, and there’s also a way to examine how it behaves.
  6. TECHガイドTECH Guideうむ。次は、公開されたチャットテンプレートの推論設定で、長文処理や応答の違いをどう確かめられるかに注目じゃな。Exactly. The next thing to watch is how its published chat template can be used to examine long-context handling and differences in responses.
記事情報・収集記録Article details & collection record
出典Source
Simon Willison's WeblogコミュニティCommunity
公開日時 (JST)Published (JST)
収集日時 (JST)Collected (JST)
配信形式Format
ブログBlog
原文言語Source language
EN
重要度の位置づけImportance in this lane
MediumMedium priority(Local LLM / Open Models 238件中、同等以上 191件)(191 of 238 Local LLM / Open Models entries are equal or higher)
出典の平均重要度(掲載直近 29 件・最大 30 件)Source average (last 29 listed, up to 30)
2.0 / 31=情報 · 2=中 · 3=高1=Info · 2=Medium · 3=High
情報の寿命Half-life
長期 (アーキテクチャ)Long-term (architecture)

🏠Local LLM / Open Models の他の記事More from Local LLM / Open Modelsもっと見る →View more →

ページ上部へScroll to top