LongSocialBench：長文脈LLMはオンライン議論スレッドを理解できるか？LongSocialBench: Do Long-Context LLMs Understand Online Discussion Threads?
匿名の公開いいねです。記事の保存・お気に入りではなく、Featured、Top 3、重要度、掲載順位には影響しません。仕組みとプライバシーAnonymous public likes are reactions, not saved articles or bookmarks. They do not affect Featured, Top 3, importance, or listing order.How it works and privacy
- LongSocialBenchは、3つの掲示板にある94件の完全な議論を基に、検証済みの人手作成問題1,462問を収録する。
- 中央値約73Kトークンの長文で返信構造や議論の転換を追う力を測り、長文脈LLMの社会的推論力の比較に役立つ。
LongSocialBench provides 1,462 verified questions from 94 full forum discussions, with a 73K-token median, enabling comparison of long-context LLMs' structural social reasoning.
本ページの本文と要約は AI による自動生成です。日本語版と英語版は言語ごとに独立して生成されるため、表現や詳しさが異なる場合があります。正確性は元記事 (arxiv.org) をご確認ください。The body and summaries are AI-generated independently for each language, so wording and detail may differ. Verify accuracy at the original source (arxiv.org).
要約と収集メタデータに基づく AI 解説。元記事全文の転載・翻訳ではありません。AI explainer based on the summaries and collected metadata, not a copy or translation of the full source article.
長文脈LLM
LongSocialBenchは、オンライン議論の全体を読み込める長文脈LLMが、会話の構造を踏まえて社会的な議論を理解できるかを測るベンチマークである。長い文書を読むだけでなく、発言同士の関係や議論の展開を追う能力を比較するために設計されている。
返信構造
オンラインの議論では、投稿が単純に時系列で並ぶとは限らず、ある発言への返信から複数の枝が生まれる。モデルには、どの投稿がどの投稿への返信なのかという親子関係に加え、特定の範囲に属する部分ツリーを識別することが求められる。さらに、異なる枝で示された意見を対比し、議論の転換点を捉える必要がある。
参加者の軌跡
評価対象には、参加者が議論の中でどのような発言を重ねたかという軌跡も含まれる。個々の投稿を独立して処理するのではなく、返信関係と議論全体の流れを結び付け、四択の質問に必要な構造化された社会的証拠を議論内から取り出す形式となっている。各問題には、完全に直列化された議論と返信構造が組み合わされる。
94件と1462問
収録内容は、Hacker News、Stack Exchange、Reddit r/ChangeMyViewから集めた94件の完全な議論を基にしている。問題は検証済みの人手作成による1,462問で、議論の長さの中央値は約73Kトークン。長大な会話を扱いながら、返信構造、分岐間の対比、転換点、参加者の軌跡を回収できるかを通じて、長文脈LLMの構造を意識した社会的推論力を比較できる。
LongSocialBench
LongSocialBench is a benchmark for testing whether long-context large language models can understand complete online discussion threads. It matters because it enables comparison of models’ ability to reason about the social and structural features of lengthy discussions, rather than simply ingesting a long document.
The benchmark contains 1,462 verified, human-authored multiple-choice items. These items are drawn from 94 complete discussion episodes on Hacker News, Stack Exchange, and Reddit’s r/ChangeMyView. The discussions have a median length of approximately 73K tokens.
Structure-aware social reasoning
Understanding these discussions requires models to follow how conversations are organized and how they develop. LongSocialBench tests whether a model can track parent-reply relationships, identify turning points, reason about scoped subtrees, compare material across different branches, and follow participant trajectories.
These requirements focus the benchmark on structure-aware social reasoning. A model must connect statements to the replies and discussion branches in which they occur, while also handling contrasts and developments that may be distributed across a complete thread.
Complete serialized discussion
Each benchmark item pairs a complete serialized discussion and its reply structure with a question offering four possible answers. Answering the question requires the model to recover structured social evidence from the discussion.
Using complete threads preserves both the long textual context and the relationships among replies. The benchmark’s combination of full discussions, explicit reply structure, and verified questions is intended to measure how well long-context models reason over online social discourse. Its 1,462 questions across 94 episodes provide a shared basis for comparing this structural social reasoning.
ポコとTECHガイドPoko & TECH Guide
ポコと当サイトのTECHガイドが、記事の要約と収集した情報から読みどころを語るAI生成の対話です。Poko and TECH Dashboard's own TECH Guide discuss the article's highlights in an AI-generated conversation based on its summary and collected source details.
- ポコPoko中央値で約73Kトークンもある議論を、丸ごと読むのはなんで？Why does the benchmark make models read whole discussions with a median length of about 73K tokens?
- TECHガイドTECH Guide返信先の関係や議論の転換、枝ごとの違い、参加者の変化まで追えるかを見るためだよ。It tests whether models can follow reply relationships, turning points, differences across branches, and how participants’ positions develop.
- ポコPoko長い文章を読めるだけじゃなく、議論の流れをつかめるモデルを比べたい人に役立つのかな？So it helps people compare whether models grasp the flow of a discussion, not just process a long text?
- TECHガイドTECH Guideそうだね。3つの掲示板の完全な議論94件から、人が作って検証した1,462問で社会的な推論力を比べられる。Yes. It offers 1,462 verified, human-written questions from 94 complete discussions across three forums for comparing structure-aware social reasoning.
- ポコPoko返信のつながりまでたどって答える、長文脈LLM向けのテストなんだね。Got it—it tests whether long-context LLMs can answer while tracing how replies connect.
- TECHガイドTECH Guideうん。ただし収録問題は、完全な議論と返信構造を使う4択形式。その範囲で結果を見る必要があるよ。Right. One caution: the items use complete serialized discussions and reply structures with four-option questions, so results should be read within that scope.