大規模言語モデルにおける事前学習データ露出：メンバーシップ推定・データ汚染・セキュリティへの影響に関するサーベイ Pretraining Data Exposure in Large Language Models: A Survey of Membership Inference, Data Contamination, and Security Implications
- LLMの事前学習データ露出問題を包括的に調査。
- メンバーシップ推定攻撃、データ汚染、セキュリティリスクを体系的に整理したサーベイ論文。
English summary
- arXiv:2605.26133v1 Announce Type: new Abstract: Large Language Models (LLMs) have become the predominant paradigm in NLP, advancing both research and industry.
- As model sizes and pretraining data grow
本論文はarXiv（2605.26133）で公開されたサーベイ研究で、大規模言語モデルの事前学習データに関連するリスクを包括的にまとめている。モデルの大規模化と学習データの拡大に伴い、モデルがどのデータを「記憶」しているかを推定するメンバーシップ推定攻撃の研究が活発化している。
データ汚染の問題も重要なテーマであり、ベンチマークデータが学習データに含まれることで評価の信頼性が損なわれるリスクが指摘されている。セキュリティ・プライバシーへの影響についても整理されており、研究者・実務者にとって有用な参照資料となることが期待される。詳細は原論文を参照のこと。
This survey paper, released on arXiv (2605.26133) in May 2026, provides a comprehensive review of risks arising from pretraining data exposure in Large Language Models. As model sizes and training corpora continue to grow, understanding what information models retain—and how it can be extracted—has become a critical research concern.
The paper covers membership inference attacks, which attempt to determine whether a given data point was part of a model's training set, as well as data contamination, where benchmark data leaks into pretraining corpora and undermines evaluation validity. Security and privacy implications are also examined systematically.
This kind of survey is valuable for researchers and practitioners navigating the rapidly evolving landscape of LLM safety and auditability. The specific methods, taxonomies, and findings discussed should be verified directly in the source paper.
本ページの本文・要約は AI による自動生成です。正確性は元記事 (arxiv.org) をご確認ください。