生成AIにおけるトークンとは、AIが文章などの情報を処理するときに扱う基本的な単位です。
人間は文章を文字や単語として読みます。一方、生成AIは入力文をそのまま扱いません。文章を細かな単位に分けて処理します。この単位がトークンです。
トークンとは何かを理解すると、生成AIの説明も読みやすくなります。たとえば「10万トークンまで処理できる」といった説明です。入力・出力トークンによる料金の違いも理解しやすくなります。
この記事では、トークンとは何かを初心者向けに解説します。意味や仕組み、文字数との違いを順番に見ていきましょう。トークン数を意識すべき場面も紹介します。
トークンとは？生成AIが情報を扱う基本単位
トークンとは、生成AIや大規模言語モデル（LLM）が文章を処理する際に使う単位です。
OpenAIは、トークンについて「モデルが処理するテキストの構成単位」と説明しています。1文字だけが1トークンになることもあれば、単語全体や単語の一部分が1トークンになることもあります。空白や句読点などもトークン数に影響します。
トークンと文字・単語の違い
トークンは、文字数や単語数と同じものではありません。
| 単位 | 意味 | 例 |
|---|---|---|
| 文字 | 書かれている文字を数える単位 | 「AI」は2文字 |
| 単語 | 意味を持つ言葉のまとまり | 「生成AI」など |
| トークン | AIが内部で文章を処理する単位 | モデルによって区切り方が異なる |
たとえば、ある単語がそのまま1トークンになる場合もあれば、複数のトークンに分割される場合もあります。
また、同じ文章でもモデルや使用するトークナイザーが変われば、トークン数が変わる可能性があります。そのため、「日本語○文字なら必ず○トークン」と固定して考えることはできません。OpenAIも、トークン化はモデルやエンコーディングによって異なると説明しています。
この記事で扱う「トークン」の意味
「トークン」という言葉には、生成AI以外にもさまざまな意味があります。
たとえば、認証に使うアクセストークンや、ブロックチェーン分野で使われる暗号資産関連のトークンがあります。
この記事で説明するのは、生成AIやLLMが情報を処理する単位としてのトークンです。
トークンはどのような仕組みで使われる？
生成AIでは、大まかに「文章を分割する→モデルが処理する→トークンを生成する」という流れで文章が扱われます。OpenAIは、APIに送信したテキストがトークンに分割され、モデルによって処理された後、回答もトークンの列として生成されてテキストへ戻されると説明しています。
1. 入力した文章をトークンに分ける
最初に、ユーザーが入力した文章を「トークナイザー」と呼ばれる仕組みで細かく分けます。
この処理を**トークン化（tokenization）**といいます。
文章をどの位置で区切るかは、モデルやトークナイザーによって異なります。Googleも、トークンは1文字の場合もあれば単語全体の場合もあり、文章をトークンへ分割する処理をトークン化と説明しています。
2. トークンをモデルが処理する
トークン化された情報は、モデルが計算できる形で処理されます。
人間が文章をそのまま目で読んで理解する方法とは異なり、言語モデルではトークンの並びをもとに計算が行われます。OpenAIのトークナイザー「tiktoken」の説明でも、言語モデルはテキストそのものではなく、数値化されたトークンの列を扱うとされています。
3. トークンを順番に生成して回答を作る
生成AIが回答を作る際にもトークンが使われます。
大規模言語モデルは、それまでの文脈をもとに続くトークンを予測し、その処理を繰り返すことで文章を生成します。
ユーザーから見ると一度に文章が生成されているように見えますが、内部ではトークン単位の処理が行われています。
なぜトークン数が重要なのか
トークン数を理解すると、生成AIが扱える情報量を把握しやすくなります。API利用時のコストも考えやすくなります。
特に、長い資料を読み込ませる人にとって重要です。生成AIのAPIを業務システムへ組み込む人にも役立ちます。
一度に扱える情報量に関係する
生成AIモデルには、一度に扱える情報量に上限があります。
この情報量を表すときによく使われるのがコンテキストウィンドウとトークン数です。
入力した文章だけでなく、モデルによっては会話履歴や回答なども含めて上限を考える必要があります。OpenAIも、モデルごとに入力と出力を含むトークン上限があると案内しています。
したがって、大量の資料を一度に送れば必ずよいとは限りません。モデルが扱える範囲に収めることが重要です。
APIの利用料金に関係する
生成AIのAPIでは、トークン数が料金計算に使われることがあります。
一般的には、ユーザー側から送る入力トークンと、AIが回答として生成する出力トークンを区別して計測します。
OpenAIはAPIの利用量について入力・出力などのトークン数を追跡していると説明しており、Google Gemini APIでも入力・出力トークンが料金に関係します。
ただし、具体的な料金はモデルやサービスによって異なります。利用時点の公式料金ページを確認しましょう。
長文を扱う方法を考える目安になる
トークンを理解していると、長い文章を生成AIへ渡す際の方法も判断しやすくなります。
たとえば資料が非常に長い場合は、
- 不要な部分を削る
- 章ごとに分割する
- 先に要約する
- 必要な範囲だけを入力する
といった方法があります。
OpenAIもトークン上限を超える場合の方法として、プロンプトを短くする、文章を小さく分割する、入力を事前に要約するといった対応を案内しています。
トークン数はどう数える？
トークン数を正確に知りたい場合、単純な文字数計算ではなく、使用するモデルに対応した公式の計測方法を利用するのが確実です。
文字数だけでは正確に計算できない
「1トークン＝○文字」と覚えたくなるかもしれません。
しかし、これはあくまで目安にすぎません。
英語についてはOpenAIが「1トークンは約4文字」などの目安を公開しています。一方、実際の分割方法は言語、文章、モデル、エンコーディングによって変わります。
そのため、日本語についても固定の換算式だけで正確なトークン数を求めるのは避けたほうがよいでしょう。
公式のトークンカウンターを利用する
APIなどで正確性が必要な場合は、各社が提供するトークン計測機能を利用できます。
OpenAIには入力トークンを数えるためのAPIがあり、テキストだけでなく画像、ファイル、ツールなどを含む入力にも対応しています。Google Gemini APIにはcount_tokens、AnthropicのClaudeにもToken Counting機能があります。
プログラムを開発する場合や利用料金を試算する場合は、概算だけではなく実際に利用するモデルで確認することが大切です。
トークンを意識した生成AIの使い方
トークンは重要な概念ですが、生成AIを使うたびに1トークン単位まで細かく管理する必要があるわけではありません。
利用目的に合わせて意識する程度を変えるとよいでしょう。
普段のChatGPT利用では細かく数えすぎない
日常的な質問や文章作成でChatGPTを使うだけなら、毎回トークン数を計算する必要性は高くありません。
まずは、
「必要な情報を明確に伝える」
「不要に長い文章を送らない」
「回答の長さを必要に応じて指定する」
といった基本を意識するほうが実用的です。
なお、ChatGPTのサブスクリプションとOpenAI APIの課金は別の仕組みです。「ChatGPTを使うと、画面上で1トークンごとに直接課金される」と考えるのは正確ではありません。OpenAIはChatGPTとAPIを別々の課金システムとして管理していると説明しています。
長文は必要に応じて分割・要約する
大量の資料を扱う場合には、トークン数を意識する価値が高まります。
たとえば100ページの資料を分析したい場合、最初から全文を投入するのではなく、章ごとに整理して処理する方法があります。
「各章を要約する→要約結果をまとめて比較する」といった段階的な使い方も有効です。
ただし、利用できるトークン上限はモデルによって異なるため、具体的な上限は使用するサービスの最新仕様を確認してください。
API利用では入力・出力トークンを確認する
生成AIのAPIを継続的に利用する場合は、トークン管理がより重要になります。
入力する文章が長くなれば入力トークンが増え、回答を長く生成すれば出力トークンも増えます。トークン数は利用量やコスト管理、モデルのコンテキスト内に収める判断材料になります。
APIを使ったシステムを開発する場合は、実際の利用状況に応じてトークン数を計測するとよいでしょう。
トークン数を特に意識したほうがよい人
次のような場合は、トークンについて理解しておくメリットが大きくなります。
- 生成AI APIを利用する人
- 大量の文書をAIに読み込ませる人
- 長時間の会話や長文生成を行う人
- API利用料金を管理したい人
- AIを使ったシステムやアプリを開発する人
一方、日常的な質問や短い文章作成だけに生成AIを利用する場合は、毎回正確なトークン数まで確認する必要はありません。
まず「AIは文章をトークンという単位に分けて処理している」と理解しておけば十分です。
トークンについてよくある質問
1トークンは日本語で何文字？
決まっていません。
トークンの区切られ方は、使用するモデルやトークナイザー、文章によって変化します。そのため「日本語1文字＝1トークン」のような固定換算は正確ではありません。
正確な数が必要な場合は、使用するモデルに対応したトークンカウンターを利用してください。
トークンと文字数は同じ？
同じではありません。
1文字だけで1トークンになる場合もあれば、複数の文字がまとまって1トークンになる場合もあります。反対に、一つの単語が複数トークンへ分割されることもあります。
プロンプトとトークンは何が違う？
プロンプトは、ユーザーが生成AIへ与える指示や入力内容です。
一方、トークンは、そのプロンプトなどをAI内部で処理する際に使われる単位です。
つまり、**プロンプトが「入力する内容」、トークンが「AIが処理するときの単位」**と考えると理解しやすいでしょう。
トークンが多いほど回答は良くなる？
必ずしもそうではありません。
必要な情報を十分に伝えることは重要ですが、関係のない情報を大量に追加しても、それだけで回答品質が高くなるわけではありません。
長文を扱う場合も、必要な情報を整理して与えることが大切です。
ChatGPTでもトークンごとに料金がかかる？
ChatGPTとOpenAI APIは分けて考える必要があります。
OpenAI APIではトークン数が利用料金の計算に使われます。一方、ChatGPTの各プランとAPIは別の課金システムです。
料金体系は変更される可能性があるため、利用時点の公式情報を確認してください。
まとめ
トークンとは、生成AIが文章などの情報を処理する際に扱う基本的な単位です。
文字や単語と必ずしも一致せず、使用するモデルやトークナイザーによって分割方法も変わります。
トークンについて押さえておきたいポイントは、次のとおりです。
- 文章はトークンという細かな単位へ分割される
- トークン数と文字数・単語数は同じではない
- モデルによってトークンの区切り方が異なる
- トークン数はコンテキスト上限を考える目安になる
- APIでは利用料金にも関係する
- 正確な数が必要なら使用するモデルの公式計測方法を使う
普段の生成AI利用で1トークン単位まで細かく意識する必要はありません。
ただし、長文を扱う場合やAPIを利用する場合には、トークンの意味を知っておくと、生成AIの仕様や料金を理解しやすくなります。
コメント
コメント一覧 （1件）
[…] トークン […]