ノイズの多い選好ラベル下におけるメタデータ不要なメタ再重み付けDirect Preference Optimization Metadata-Free Meta-Reweighted Direct Preference Optimization under Noisy Preference Labels

arXiv cs.LG 論文 Paper · arxiv.org · 2026/07/14 13:00 · 19h ago

AI 2 点サマリ Summary highlight 原文で検証 Verify source

LLMのRLHFで問題となるノイズ付き選好データに対し、メタデータを使わずサンプルを動的に再重み付けするDPO手法を提案。
データ品質への依存を減らしアライメントの堅牢性を向上させる。

This paper proposes a meta-reweighting approach for Direct Preference Optimization that dynamically down-weights noisy preference samples without requiring any metadata, improving LLM alignment robustness under label noise.

#arxiv #dpo #llm #meta-learning #noisy-labels #paper #preference-learning #rlhf

SourcearXiv cs.LG 論文 Paper
直近30件の平均重要度 Avg importance, last 30 1=Info · 2=Medium · 3=High
Type論文
Importance 重要度 Medium Medium priority (Papers / Benchmarks 100件中、同等以上 77件) (77 of 100 Papers / Benchmarks entries are equal or higher)
Half-life 🏛️ 長期 (アーキテクチャ)
LangEN
Collected2026/07/15 04:00

元記事を読む

arxiv.org

本ページの要約は AI による自動生成です。正確性は元記事 (arxiv.org) をご確認ください。 The summary is AI-generated. Verify accuracy at the original source (arxiv.org).

🔬 Papers / Benchmarks の他の記事 もっと見る →

🔬 Papers / Benchmarks の他の記事もっと見る →