スループットとは、一定時間内にシステムがどれだけの処理を完了できるかを示す性能指標です。
ネットワークなら「1秒間に転送できたデータ量」、Web APIなら「1秒間に処理できたリクエスト数」、生成AIなら「1秒間に生成できたトークン数」などで表します。
「処理が速い」という意味で使われることがありますが、1回の処理にかかる時間を示す「レイテンシ」とは意味が異なります。
この記事では、スループットの意味や仕組みを解説します。生成AIでの使われ方や、関連指標との違いも初心者向けに紹介します。
スループットとは？
スループット（Throughput）とは、一定時間内に実際に処理できた仕事やデータの量を表す指標です。
英語の「throughput」には、システムなどを通過して処理される量という意味があります。
IT分野では、システムの処理能力を確認するために幅広く使われています。
スループットは「一定時間にどれだけ処理できるか」を表す
たとえば、あるシステムが10秒間に100件を処理したとします。この場合、平均スループットは1秒あたり10件です。
考え方はシンプルです。
スループット ＝ 完了した処理量 ÷ 処理にかかった時間
生成AIが60秒間に6,000トークンを生成したとします。平均スループットは100トークン/秒です。
重要なのは、1件の処理時間を見る指標ではない点です。一定時間内に全体で処理できた量を確認します。
分野によって処理量の単位が変わる
スループットの単位は、対象によって異なります。
| 分野 | スループットの例 |
|---|---|
| ネットワーク | Mbps、Gbpsなど |
| ストレージ | MB/s、GB/sなど |
| Web API | requests/s |
| データベース | transactions/s |
| 生成AI・LLM | tokens/s、requests/s |
そのため、数値だけでは性能を正しく比較できません。単位や測定対象も確認しましょう。
スループットの仕組み
スループットは、入力された仕事がシステム内部を通り、処理済みの出力として出てくる量を時間単位で測定します。
道路にたとえると、1台の所要時間を見る指標ではありません。1時間に通過できた車の台数を見るイメージです。
基本は「処理量÷時間」で考える
たとえば、1分間に300件を処理したとします。平均スループットは5件/秒です。
ただし、実際のシステムでは常に同じ量を処理できるわけではありません。
アクセスが集中したり、CPUやGPUの処理能力が不足したりすると、待ち時間が発生します。その結果、処理能力が頭打ちになる場合があります。
ボトルネックによってスループットは変化する
スループットを左右する要因には、CPU・GPUの性能、メモリ、ネットワーク、ストレージ、同時処理数、入力データ量などがあります。
どこか1か所の処理能力が不足すると、そこがボトルネックになります。その結果、システム全体のスループットが伸びにくくなります。
単純に高性能な部品へ交換するだけでなく、どこで処理が詰まっているのかを確認することが重要です。
生成AI・LLMにおけるスループット
生成AIや大規模言語モデル（LLM）でも、スループットは重要な性能指標です。
代表的なのが、TPS（Tokens Per Second）とRPS（Requests Per Second）です。
TPS（Tokens Per Second）
TPSは、1秒間に処理・生成できるトークン数を表します。
LLMでは、複数ユーザーからのリクエストもまとめて評価します。システム全体が1秒間に生成できるトークン数を確認します。
一般に、総TPSが高いほど、同じ時間でより多くの生成処理をこなせる可能性があります。
ただし、「TPSが高い＝1人のユーザーへの回答が必ず速い」という意味ではありません。
RPS（Requests Per Second）
RPSは、システムが1秒間に完了できるリクエスト数です。
たとえば、AI APIが10秒間に200件を処理したとします。この場合、平均RPSは20です。
チャットAIだけでなく、検索、分類、要約などをAPI経由で大量処理するときにも参考になります。
システム全体と1ユーザーのスループットは分けて考える
LLMでは、複数のリクエストをまとめて処理できます。効率化により、システム全体のスループットを高められる場合があります。
一方、多くのリクエストを同時に処理すると、1件ごとの待ち時間が長くなることがあります。
つまり、
「全体でたくさん処理できること」と「1人にすぐ返事が返ること」は別の性能です。
生成AIサービスの性能は、スループットだけでは判断できません。レイテンシも合わせて確認することが重要です。
関連指標との違い
混同されやすい用語には、レイテンシ、帯域幅、レート制限があります。
| 用語 | 簡単な意味 | 主に見るもの |
|---|---|---|
| スループット | 一定時間に処理できた量 | 全体の処理能力 |
| レイテンシ | 1回の処理にかかる時間 | 応答の待ち時間 |
| 帯域幅 | 通信経路が持つ最大容量 | 理論上の通信容量 |
| レート制限 | 一定時間に利用できる量の上限 | サービス側の利用制限 |
レイテンシとの違い
レイテンシは、リクエストを送ってから結果が返るまでの「待ち時間」を表します。
一方、スループットは一定時間内に「何件処理できたか」を表します。
たとえば、大勢の客を同時にさばけるレストランはスループットが高いといえます。しかし、1人の客が注文してから料理が届くまで長時間かかるなら、レイテンシは高い状態です。
このように、スループットが高くてもレイテンシが低いとは限りません。
スループットと帯域幅の違い
ネットワーク分野の帯域幅は、通信経路が理論上どの程度のデータを転送できるかを示す容量です。
一方、スループットはネットワークの混雑や機器の性能などを含め、実際に転送できたデータ量を表します。
したがって、大きな帯域幅を確保していても、常に同じスループットが出るとは限りません。
スループットとレート制限の違い
レート制限は、APIなどのサービスが「一定時間内に利用できるリクエスト数や処理量」に上限を設ける仕組みです。
スループットが実際の処理実績を示すのに対し、レート制限は許可される利用量の上限という違いがあります。
APIを大量利用するときは、システム自体のスループットだけでなく、サービス側に設定されたレート制限も確認する必要があります。
スループットはどのように使う？
スループットは、システムや生成AIを比較・設計・運用するときに利用できます。
代表的な用途は、性能比較、必要容量の見積もり、ボトルネックの発見です。
AIモデルやシステムの性能比較
複数のAIシステムを同じ条件で動かし、TPSやRPSを測定すれば、処理能力を比較できます。
ただし、モデル、GPU、入力トークン数、出力トークン数、同時接続数などの条件が異なるベンチマークを、そのまま数値だけで比較するのは適切ではありません。
比較するときは測定条件を揃えることが大切です。
必要な処理能力の見積もり
大量のユーザーが利用するAIサービスでは、想定されるリクエスト量に対して十分なスループットを確保できるかを確認します。
たとえばピーク時に1秒20件の処理が必要なのに、システムが1秒10件しか処理できなければ、待ち行列が増えて応答が遅くなる可能性があります。
このように、スループットはサーバーやGPUなどの必要容量を考える材料にもなります。
運用時のボトルネック確認
運用中にスループットとレイテンシを継続して確認すると、処理能力の限界を発見しやすくなります。
リクエスト数を増やしてもスループットがほとんど増えず、レイテンシだけが悪化する状態なら、システムが飽和している可能性を疑います。
スループットを見るときの注意点
スループットは便利な指標ですが、数値が高いだけで「優れたシステム」と判断することはできません。
特に生成AIでは、レイテンシや回答品質、コストなども合わせて評価する必要があります。
数値だけで性能を判断しない
大量処理を目的とするシステムでは、高いスループットが重要です。
一方、ユーザーとリアルタイムで会話するチャットAIでは、最初の回答が表示されるまでの時間や、その後の生成速度も体感品質を大きく左右します。
用途によって優先すべき性能指標は異なります。
同じ条件で比較する
LLMのスループットは、モデル、ハードウェア、入力・出力トークン数、同時処理数などによって変化します。
そのため、ベンチマークを見るときは数値だけでなく、測定条件も確認しましょう。
異なる条件のTPSを単純比較すると、実際の性能差を誤解する可能性があります。
高スループットと低レイテンシは両立するとは限らない
同時リクエストを増やすことで、システム全体の処理量を増やせる場合があります。
しかし、処理能力の限界に近づくにつれて待ち行列が発生し、1件あたりのレイテンシが悪化することがあります。
そのため、実運用では「最大スループット」だけを目指すのではなく、許容できるレイテンシとのバランスを見ることが重要です。
スループットについてよくある質問
スループットを簡単に言うと何ですか？
一定時間内にどれだけ多くの処理をこなせるかを示す指標です。
「1秒間に何件」「1秒間に何トークン」などの形で表します。
スループットが高いほど処理は速いですか？
必ずしもそうではありません。
スループットは全体の処理量を示します。一方、1回の処理が終わるまでの速さを見るにはレイテンシを確認する必要があります。
生成AIではスループットを何で測りますか？
代表的な指標として、1秒あたりのトークン数を表すTPSや、1秒あたりの完了リクエスト数を表すRPSがあります。
どの指標を使うかは、AIシステムの用途や測定目的によって変わります。
TPSが高ければ生成AIの性能も高いですか？
TPSだけでは判断できません。
回答品質、最初のトークンが返るまでの時間、1ユーザーあたりの生成速度、利用コストなども含めて評価する必要があります。
まとめ
スループットとは、一定時間内に処理できるリクエスト・データ・トークンなどの量を示す性能指標です。
生成AIではTPSやRPSなどが使われ、AIシステムが大量の処理にどの程度対応できるかを確認する際に役立ちます。
ただし、スループットが高いからといって、1回の回答が必ず速いわけではありません。
システムや生成AIの性能を見るときは、スループットで全体の処理能力を確認し、レイテンシで1回の応答時間を確認すると理解しやすくなります。
関連用語
出典・参考情報
NVIDIA「Metrics — NVIDIA NIM LLMs Benchmarking」
NVIDIA「Parameters and Best Practices — NVIDIA NIM LLMs Benchmarking」
