#tokenization 2 total

AI要約 同じ情報量の要約を日本語・英語・中国語で生成し、Claude Opus 4.8 のトークン消費を比較した実験。英語が最も少なく、日本語は約1.23倍、中国語は約1.29倍の出力トークンを消費することが確認された。

EN An experiment measuring Claude Opus 4.8 token consumption across English, Japanese, and Chinese found English outputs to be the most token-efficient, with Japanese using ~1.23× and Chinese ~1.29× more output tokens for equivalent information.

AI要約 GoogleのAIが自社名を含む単語のスペルを正しく出力できないという問題が再び注目を集めている。LLMの文字レベル処理の限界が背景にある。

EN Google's AI systems are reportedly unable to correctly spell even the word 'Google,' highlighting a well-known but persistent limitation of large language models in character-level tasks.