レイテンシとは、入力やリクエストを送ってから、回答や処理結果が返ってくるまでに生じる時間的な遅れのことです。簡単にいえば、システムを操作したときの「待ち時間」を表す言葉です。
生成AIでは、質問を送信してから回答が始まるまでの時間や、回答全体が完成するまでの時間を評価するときに使われます。レイテンシが短いほど、利用者は「反応が速い」と感じやすくなります。Google Cloudも、生成AIにおけるレイテンシをモデルが入力プロンプトを処理してレスポンスを生成するまでの時間として説明しています。
そこでこの記事では、レイテンシの意味や仕組み、TTFT・TTLT、スループットとの違い、生成AIでの使い方を初心者向けに解説します。
レイテンシとは？
レイテンシ（Latency）とは、通信や処理を開始してから結果が返るまでに発生する遅延時間を表す言葉です。
また、もともとネットワークやコンピューターの分野で広く使われており、AWSではネットワークレイテンシを「ネットワーク通信における遅延」と説明しています。
たとえば、次のような待ち時間がレイテンシに関係します。
- Webページを開いてからデータが届くまで
- オンラインゲームで操作してから画面へ反映されるまで
- 生成AIへ質問してから回答が始まるまで
- AIを組み込んだシステムへ指示してから結果が返るまで
そのため一般に、待ち時間が短ければ「低レイテンシ」、長ければ「高レイテンシ」と表現します。
生成AIにおけるレイテンシ
一方、生成AIでは、プロンプトを入力してからモデルが回答を生成するまでの時間をレイテンシとして扱います。
具体例として、チャット型生成AIへ「この文章を要約してください」と入力したとします。
このとき、すぐに回答が表示され始めればレイテンシは短くなります。一方、長時間何も表示されなければ、利用者はレイテンシが大きいと感じます。
そのため、レイテンシはモデルの性能だけではなく、チャットボットや音声AIなどの使いやすさや体感速度にも関係する指標です。
「レイテンシが高い・低い」とは？
具体的には、意味を次のように整理できます。
| 表現 | 意味 | 利用者の感じ方 |
|---|---|---|
| 低レイテンシ | 待ち時間が短い | 反応が速い |
| 高レイテンシ | 待ち時間が長い | 反応が遅い |
なお、レイテンシは時間を示す指標なので、基本的には数値が小さいほど待ち時間が短いと考えられます。
ただし、レイテンシが低ければAIの回答品質も高い、という意味ではありません。速度と回答の正確さ・内容の充実度は分けて評価する必要があります。
レイテンシの仕組み
さらに、生成AIのレイテンシは、単純な1種類の待ち時間だけを見るとは限りません。
その代表的な指標として、**TTFT（Time to First Token）とTTLT（Time to Last Token）**があります。Google Cloudの生成AI用語集でも、この2つを分けて説明しています。
TTFTは最初の回答が出るまでの時間
TTFTは「Time to First Token」の略で、AIがプロンプトを受け取ってから、最初のトークンを出力するまでの時間です。
ここでいう「トークン」は、AIが文章などを処理するときに使う基本単位です。
チャット型AIで考えると、送信ボタンを押してから最初の文字列が画面に現れ始めるまでの待ち時間に近いイメージです。
そのため、リアルタイム性が重視されるチャットや音声AIでは、TTFTがユーザー体験に大きく関係します。
TTLTは回答全体が完成するまでの時間
次に、TTLTは「Time to Last Token」の略で、プロンプトを処理し、最後のトークンまで生成し終えるためにかかった全体の時間です。
たとえば、最初の文字はすぐ表示されても、長い文章の生成完了まで30秒かかった場合、TTFTは短くてもTTLTは長くなります。
したがって、「AIの反応が速いか」と「回答全体が速く完成するか」は分けて考えることができます。
レイテンシが長くなる主な要因
ただし、レイテンシはAIモデルだけで決まるわけではありません。
その主な要因として、次のものがあります。
- 使用するモデルの処理特性
- 入力するプロンプトの長さ
- 生成する回答の長さ
- サーバーの処理状況
- 同時アクセスや処理待ち
- ネットワークの距離や混雑
- AI以外の外部システムやAPI処理
具体的には、Google Cloudは生成AIのレイテンシを抑える方法として、用途に合ったモデルの選択、プロンプトの短縮、出力トークン数の制限、ストリーミングなどを挙げています。また、高負荷時のキューイングなども性能のばらつきに関係します。
一方、通信部分では、地理的な距離やネットワークのホップ数、混雑、サーバー処理能力なども遅延の要因になります。
レイテンシとスループットなどの違い
また、レイテンシと混同しやすい言葉に、スループットやTTFTなどがあります。
具体的な違いを整理すると、次のようになります。
| 指標 | 何を見る？ | イメージ |
|---|---|---|
| レイテンシ | 処理・応答にかかる待ち時間 | どれだけ待つか |
| TTFT | 最初のトークンが出るまで | 話し始めるまでの速さ |
| TTLT | 最後まで生成し終えるまで | 話し終えるまでの時間 |
| スループット | 一定時間内に処理できる量 | どれだけ多く処理できるか |
たとえばAWSも、レイテンシを時間的な遅延、スループットを一定時間に実際に処理・転送できる量として区別しています。
つまり、レイテンシは「速さ」、スループットは「量」に注目した指標と考えると、初心者でも区別しやすくなります。
レイテンシはどのような場面で使われる？
さらに、生成AIでは、サービスやシステムの応答性を考えるさまざまな場面でレイテンシという言葉が使われます。
チャット型生成AI
たとえば、チャット型生成AIでは、質問してから回答が表示され始めるまでの時間が利用者の印象を左右します。
そのため、モデルやサービスを比較するときに「このモデルは低レイテンシだ」「TTFTが短い」といった表現が使われます。
音声AI
また、音声でAIと会話する場合は、人と話しているようなテンポが求められます。
回答まで毎回長い間が空けば、自然な会話が難しくなります。そのため、リアルタイム音声などでは特に低レイテンシが重要になります。
AIを組み込んだ業務システム
生成AIのAPIを業務システムへ組み込む場合も、レイテンシは重要な評価項目です。
たとえば、
- 顧客からの問い合わせへの回答
- 社内検索
- 文書の要約
- 入力補助
- AIエージェントによる処理
などでは、1回の処理時間が利用者の待ち時間へ直接影響することがあります。
一方、大量の文書を夜間にまとめて処理するような用途では、1件ごとの低レイテンシより、処理量やコストを重視する場合もあります。
レイテンシを短くする方法
レイテンシを改善したい場合は、何が遅延を生んでいるかを分けて考えることが重要です。
用途に合ったモデルを選ぶ
すべての用途で同じAIモデルを使う必要はありません。
高度な処理能力を優先するモデルと、軽快な応答を重視したモデルでは、速度と品質のバランスが異なる場合があります。
そのため、用途に必要な品質を満たしながら、応答速度も比較して選びます。
プロンプトや回答を必要以上に長くしない
長い入力や長い出力は、処理時間を増やす要因になります。
必要な情報は残しつつ、不要な説明や重複した指示を減らすことがポイントです。また、「3点にまとめてください」など、必要な回答量を明確にする方法もあります。
Google Cloudも、短いプロンプトがTTFTの短縮に、出力トークン数の削減がTTLTの短縮に役立つと説明しています。
ストリーミングを利用する
ストリーミングとは、回答全体の完成を待たず、生成された部分から順番に表示する方法です。
処理そのものが必ず短くなるわけではありませんが、利用者は早い段階から回答を読み始められます。そのため、体感上の待ち時間を短くする方法として有効です。
ネットワークやシステム全体も確認する
AIモデルが速くても、外部API、データベース、ネットワークなどに時間がかかれば、利用者が感じる待ち時間は長くなります。
生成AIシステム全体を改善する場合は、モデルだけでなく、リクエストから最終表示までの各処理を分けて計測することが大切です。
レイテンシを見るときの注意点
レイテンシは重要な性能指標ですが、数値だけでAIサービスの優劣を決めることはできません。
特に次の点に注意しましょう。
- 測定の開始点と終了点を確認する
- TTFTとTTLTを混同しない
- 同じ条件で比較する
- 回答品質も一緒に確認する
- スループットやコストも考慮する
- 混雑状況による変動を見る
たとえば、モデルAの回答開始がモデルBより速くても、最終回答の完成はモデルBのほうが速いケースがあります。
また、短い質問と長文資料の要約では処理条件が異なるため、単純に数値だけを比べても公平ではありません。
「何をどの条件で測ったレイテンシなのか」を確認することが大切です。
レイテンシに関するよくある質問
レイテンシとは簡単にいうと何ですか？
入力やリクエストを送ってから、回答や処理結果が返ってくるまでの待ち時間です。
生成AIでは、質問を送ってから回答が始まるまで、または回答全体が完成するまでの時間などを指します。
レイテンシは低いほうがよいですか？
同じ条件で比べるなら、一般的にレイテンシは低いほうが応答性に優れています。
ただし、速度だけで回答品質、正確性、コストまで優れているとは限りません。用途に応じて複数の指標を確認する必要があります。
レイテンシとスループットの違いは何ですか？
レイテンシは1回の処理でどれだけ待つかを見る指標です。
一方、スループットは一定時間にどれだけの量を処理できるかを見る指標です。両方ともシステム性能を考えるうえで重要ですが、測っているものが異なります。
TTFTとは何ですか？
TTFTは「Time to First Token」の略で、生成AIが入力を受け取ってから最初のトークンを出力するまでの時間です。
チャットや音声AIなど、素早く反応してほしいサービスで特に重要な指標です。
レイテンシが高くなる原因は何ですか？
モデルの処理、長い入力・出力、サーバー負荷、処理待ち、ネットワークの距離や混雑、外部APIなど、複数の要因が考えられます。
原因を特定するときは、システム全体の時間だけでなく、各処理へ分解して測定すると判断しやすくなります。
まとめ
レイテンシとは、入力やリクエストから回答・処理結果が返るまでにかかる時間です。
生成AIでは、特に次の違いを押さえておくと理解しやすくなります。
- TTFT：最初のトークンが出るまでの時間
- TTLT：回答全体が完成するまでの時間
- スループット：一定時間に処理できる量
レイテンシが短いほど利用者は反応を速く感じやすい一方、速度だけでAIの性能全体を判断することはできません。
モデルの品質、スループット、コストなども含め、用途に必要な応答速度を満たしているかという視点で評価することが重要です。
