大規模言語モデルの事前学習における「データ混合」手法を包括的に調査したサーベイ論文 Data Mixing for Large Language Models Pretraining: A Survey and Outlook
AI要約 大規模言語モデルの事前学習における「データ混合」手法を包括的に調査したサーベイ論文。オフライン/オンライン手法の分類、評価指標、既存研究の比較を整理し、今後の研究方向性と課題を示す。
EN A survey on data mixing strategies for large language model pretraining, categorizing offline and online methods, reviewing evaluation approaches, and outlining open challenges and future research directions.
arxiv.org →
fallback