#BPE

LLMがテキストを処理する単位「トークン」の仕組みをわかりやすく解説。日本語のトークン数がなぜ多くなるか、APIコストへの影響まで実務で役立つ知識をまとめる。