HomeTags#token-distribution

#token-distribution page 1/1 · 1 total

TODAY 1 entries
NEW paper research 2h ago · arxiv-cs-ai

ランダム性の床:言語モデルのトークン分布における固有の非ランダム性測定 The Randomness Floor: Measuring Intrinsic Non-Randomness in Language Model Token Distributions

AI要約 本論文は、言語モデルのトークン分布に内在する非ランダム性を測定する「ランダム性の床」という概念を提案する。生成テキストの統計的特性を分析し、モデルが本質的に持つ偏りを定量化する手法を示す。

EN This paper proposes the concept of a 'randomness floor' to measure intrinsic non-randomness in language model token distributions, providing a method to quantify inherent biases in generated text through statistical analysis.

arxiv.org
The Randomness Floor: Measuring Intrinsic Non-Randomness in Language Model Token Distributions og