AI要約 AIクローラーを学習用・検索インデックス用・ユーザー起点fetchの3種に分類し、robots.txtで個別に許可/拒否を制御する設計を提案する記事。一律ブロックは検索流入を損なうため、用途別の細かいポリシー設定が重要と説く。

EN This article proposes categorizing AI crawlers into three types—training, search indexing, and user-initiated fetch—and configuring robots.txt to allow or block each independently, since blanket blocking can harm search visibility.