LiteTopK: 次元の呪いを活用した長文脈スパースアテンション向け融合インデクサー・TopKカーネルLiteTopK: Exploiting the Curse of Dimensionality for a Fused Indexer-TopK Kernel in Long-Context Sparse Attention
arXiv cs.LG論文Paperarxiv.org公開Published重要度 MediumImportance Medium priority
匿名の公開いいねです。記事の保存・お気に入りではなく、Featured、Top 3、重要度、掲載順位には影響しません。仕組みとプライバシーAnonymous public likes are reactions, not saved articles or bookmarks. They do not affect Featured, Top 3, importance, or listing order.How it works and privacy
匿名の公開いいねです。記事の保存・お気に入りではなく、Featured、Top 3、重要度、掲載順位には影響しません。Anonymous public likes are reactions, not saved articles or bookmarks. They do not affect Featured, Top 3, importance, or listing order.
LiteTopK leverages the concentration of distances in high dimensions to fuse the indexer and TopK selection into a single GPU kernel, significantly reducing overhead in long-context sparse attention inference.
本ページの要約は AI による自動生成です。日本語版と英語版は言語ごとに独立して生成されるため、表現や詳しさが異なる場合があります。正確性は元記事 (arxiv.org) をご確認ください。The summaries are AI-generated independently for each language, so wording and detail may differ. Verify accuracy at the original source (arxiv.org).
記事情報・収集記録Article details & collection record＋
出典Source
arXiv cs.LG論文Paper
公開日時 (JST)Published (JST)
収集日時 (JST)Collected (JST)
配信形式Format
論文Paper
原文言語Source language
EN
重要度の位置づけImportance in this lane
MediumMedium priority(arXiv 80件中、同等以上 80件)(80 of 80 arXiv entries are equal or higher)
出典の平均重要度（掲載直近 20 件・最大 30 件）Source average (last 20 listed, up to 30)
