認識、シミュレーション、拒否：LLMエージェントにおける古典的心理効果の汚染を考慮した研究Recognition, Simulation, and Refusal: A Contamination-Aware Study of Classic Psychological Effects in LLM Agents
匿名の公開いいねです。記事の保存・お気に入りではなく、Featured、Top 3、重要度、掲載順位には影響しません。仕組みとプライバシーAnonymous public likes are reactions, not saved articles or bookmarks. They do not affect Featured, Top 3, importance, or listing order.How it works and privacy
- PsyAgentBenchは、5つの古典的心理実験を、効果名の明示有無、教科書版と語彙や場面を変えた反実仮想版、ペルソナ条件で比較する。
- 学習データの影響と反応の模倣を切り分け、LLMの心理的偏りを慎重に評価できる。
PsyAgentBench reruns five psychology paradigms across named or blind, canonical or counterfactual, and persona conditions, helping separate pattern imitation from bias.
本ページの本文と要約は AI による自動生成です。日本語版と英語版は言語ごとに独立して生成されるため、表現や詳しさが異なる場合があります。正確性は元記事 (arxiv.org) をご確認ください。The body and summaries are AI-generated independently for each language, so wording and detail may differ. Verify accuracy at the original source (arxiv.org).
要約と収集メタデータに基づく AI 解説。元記事全文の転載・翻訳ではありません。AI explainer based on the summaries and collected metadata, not a copy or translation of the full source article.
PsyAgentBench
PsyAgentBenchは、LLMエージェントが人間の心理効果に結び付く反応パターンを示すことと、その心理的偏りを実際に持つことを区別するためのベンチマークである。この区別を踏まえ、古典的な心理実験をLLMエージェントで再実行し、反応の模倣や学習データの影響を慎重に評価する。
古典的心理実験
評価では、完了した5つの心理学パラダイムを用いる。各パラダイムは、効果名をプロンプト内で明示する「named」条件と、日常的な課題として提示する「blind」条件で実施される。効果名を示した場合の応答だけでなく、名称を伏せた場合の振る舞いも比較できるようにした設計である。
反実仮想版
課題は、文字どおりの教科書版である「canonical」と、反実仮想版である「counterfactual」の両方で扱う。反実仮想版は、学習データに含まれている可能性がある表現や場面との重なりを減らすため、課題の構造を対応させながら語彙やシナリオを変更したものとされる。これらの条件は、ペルソナ操作とも組み合わせられる。
41,904試行
PsyAgentBenchの要因設計は、効果名の明示有無、教科書版と反実仮想版、ペルソナ操作を交差させる。最大3つのオープンウェイトモデルファミリーを対象に評価し、41,904件の試行を公開する。こうした比較により、表面的に人間らしい反応が現れた場合にも、それを心理的偏りそのものと直結させずに検討できる。
Response Pattern
PsyAgentBench is a benchmark for re-running classic psychology experiments on LLM agents. Its central distinction is that producing a response pattern associated with a human psychological effect is not the same as demonstrating that an LLM possesses the corresponding bias.
That distinction matters because the benchmark is designed to separate apparent psychological effects from responses that may reflect recognition or imitation of familiar experiment patterns. Rather than treating a matching answer pattern as sufficient evidence of bias, the work evaluates how that pattern changes under controlled variations of the task and prompt.
Factorial Design
Each psychology paradigm is run under a factorial design with several crossed conditions. Prompts either explicitly label the paradigm, described as the named condition, or present it as a routine task, described as the blind condition.
The benchmark also compares the literal textbook form of a task, called canonical, with a structurally matched counterfactual variant. The counterfactual versions are written to reduce lexical and scenario overlap with likely training data while retaining the task’s structure. This comparison is intended to distinguish responses tied to recognizable wording or scenarios from responses that persist when those cues are changed.
A persona manipulation is also crossed with these conditions. Together, the named or blind framing, canonical or counterfactual task version, and persona condition provide multiple ways to examine whether an observed response pattern depends on explicit recognition, familiar task language, scenario overlap, or prompting context.
Five Completed Paradigms
The reported benchmark includes five completed psychology paradigms. It was evaluated on up to three open-weight model families, and 41,904 trials were released.
By rerunning the paradigms across these conditions, PsyAgentBench frames psychological-bias evaluation as a question requiring careful controls. The benchmark’s approach is aimed at separating pattern imitation from bias, rather than equating a human-like experimental response with possession of a human psychological effect.
ポコとTECHガイドPoko & TECH Guide
ポコと当サイトのTECHガイドが、記事の要約と収集した情報から読みどころを語るAI生成の対話です。Poko and TECH Dashboard's own TECH Guide discuss the article's highlights in an AI-generated conversation based on its summary and collected source details.
- ポコPokoこれは普段の何が変わるの？ AIに相談したときの答えが、心理的な偏りなのか気になるかも。What changes in everyday use? If I ask AI for advice, I might wonder whether its answer reflects a psychological bias.
- TECHガイドTECH Guideこの記事では、AIの答えが人の心理効果をまねたものか、偏りなのかを慎重に分けて調べられるんじゃ。研究者向けの物差しじゃよ。This study offers researchers a way to tell whether an AI is copying a familiar psychology pattern or showing a bias. It’s a careful measuring tool, so to speak.
- ポコPoko前はできなかったの？ 答え方を見るだけじゃ、まねしているのか本当に偏っているのか分からなかったってこと？Was that not possible before? Does this mean that looking at answers alone couldn’t tell imitation from an actual bias?
- TECHガイドTECH Guideその違いを従来どこまで分けられたかは、ここでは分からんのう。ただ今回は、効果名の有無や課題の言い換え、ペルソナを組み合わせて比べておる。The article doesn’t say how well earlier work separated those cases. Here, though, it compares named versus unlabeled effects, rewritten tasks, and persona conditions.
- ポコPokoへえ、AIが人っぽい答えをしても、それだけで人と同じ偏りがあるとは言えないんだね。Wow—so even if AI gives a human-like answer, that alone doesn’t mean it has the same bias as people.
- TECHガイドTECH Guideそこが一番の収穫じゃな。この記事の範囲では、学習データとの重なりを減らした課題でも反応がどう変わるかに注目したいのう。That’s the key takeaway. Within this study, it will be worth watching how responses change on tasks designed to overlap less with training data.