大規模モデルでよく使われるテンソル型入門: FP32、FP16、BF16、TF32、FP8

Wed, 22 Apr 2026 22:40:00 +0800

大規模モデルの学習、推論、デプロイに触れ始めると、すぐに FP32、FP16、BF16、TF32、FP8 という略称を見かけるようになります。これらはモデルの説明欄に添えられた小さなラベルのように見えますが、実際の意味はそれ以上に大きいです。

これらの型は、数値をメモリ上にどう保持し、計算中にどう表現するかを決めます。そしてそれは、学習の安定性、推論速度、さらには 1 枚の GPU でどれだけ大きなモデルを扱えるかにまで影響します。

そのため、大規模モデルの精度トレードオフを本当に理解したいなら、特定モデルのベンチマークを見る前に、まずこれらのテンソル型が何であり、なぜそのように設計されているのかを押さえるのが近道です。

テンソル型は何を決めているのか

大規模モデルの本質は、膨大なパラメータを使った行列演算です。そしてテンソル型とは、その数値をメモリ上でどう保持し、計算中にどう表現するかという形式です。

このトレードオフは、たいてい次の三つの軸に集約されます。

精度
VRAM 使用量
計算速度

これは画像フォーマットに少し似ています。可逆形式は細部を多く保てますが、容量が大きく、読み込みも遅くなります。圧縮形式は人間に見えにくい情報を一部捨てる代わりに、サイズを小さくし処理を速くします。大規模モデルが同じような折衷を受け入れられるのは、非常に多くのパラメータの中では、ごく小さな数値の違いが最終出力に大きく影響しないことが多いからです。

そのため、モデルの世界にはさまざまな精度フォーマットが存在します。

数値はどう表現されるのか

各フォーマットを見る前に、まず浮動小数点数の基本構造を押さえておくと理解しやすくなります。浮動小数点数は通常、次の三つの部分からできています。

符号ビット: 正負を決める
指数ビット: 数値の表現範囲を決める
仮数ビット: 数値の細かさを決める

大規模モデルでは仮数精度も重要ですが、多くの場合それ以上に問題になりやすいのが、指数ビット不足による表現範囲の狭さです。これがオーバーフローや学習不安定性につながります。多くのテンソル型設計は、限られた bit 数を「範囲」と「細かさ」の間でどう配分するか、という問題だと考えるとわかりやすいです。

まずは次の図で全体像をつかむと理解しやすいです。

FP32: 最も安定するが高価

FP32 は最も伝統的な単精度浮動小数点形式で、合計 32 bit、つまり 4 バイトです。

長所はわかりやすいです。

数値範囲が広い
精度が高い
学習が最も安定しやすい

その一方で、欠点も明確です。VRAM を大きく消費します。

非常に大ざっぱに見積もるなら、

`1`	`VRAM 使用量 ≈ パラメータ数 × 1 パラメータあたりのバイト数`

となります。

もし 27B モデルの重みをすべて FP32 で持つなら、重みだけでおよそ

`1`	`27B × 4 bytes ≈ 108GB`

が必要です。

しかも、ここには活性値、KV Cache、オプティマイザ状態、そのほかの実行時オーバーヘッドは含まれていません。つまり、現代の大規模モデル推論や学習において、FP32 はもはや標準というより、「最も安定な基準形式」に近い存在です。

FP16: サイズは半分、ただし安定性はやや弱い

FP16 は各パラメータを 2 バイトに圧縮し、FP32 と比べてメモリ使用量をほぼ半分にします。

同じ 27B モデルで重みサイズだけを見ると、

`1`	`27B × 2 bytes ≈ 54GB`

になります。

これだけでも、なぜ多くのデプロイ手順で 27B モデルの VRAM 要件が 50GB 前後になるのかを説明できます。

FP16 の利点は明快です。

VRAM 圧力が大きく下がる
スループットが高い
初期の mixed precision 学習で広く使われた

ただし弱点は、指数ビットが少なく、動的範囲が狭いことです。大規模モデル学習ではこれがオーバーフローを起こしやすくし、loss scaling のような補助技法を必要とするため、運用がやや面倒になります。

そのため FP16 は今も一般的ですが、多くの場面では最も扱いやすい選択肢ではなくなっています。

BF16: 大規模モデル時代により実用的な半精度

BF16 も 2 バイトですが、FP16 とは設計思想が異なります。

指数範囲を大きく確保することで、動的範囲を FP32 に近づけ、その代わり仮数精度を一部削っています。この折衷は大規模モデルに特に向いています。というのも、多くのモデルは仮数の数 bit より、まず範囲不足に敏感だからです。

そのため、現在では多くの学習フレームワーク、大規模モデルの論文、実際のデプロイ環境が BF16 を好む傾向にあります。

感覚的には次のように捉えるとわかりやすいです。

VRAM コストは FP16 に近い
安定性は FP32 に近い

ある 27B のデプロイ手順が 50GB 前後の VRAM を要求し、別の最適化された手順が 30GB 近くまで下がるなら、前者はまだ FP16/BF16 の層に留まり、後者はより低精度や量子化に踏み込んでいることが多いです。

TF32: VRAM 削減ではなく FP32 ワークフローの高速化

TF32 は「また別の省メモリ形式」と誤解されやすいですが、役割はかなり違います。

一般的には、指数範囲を大きく保ちつつ、仮数精度を短くした計算形式として捉えるとわかりやすいです。

ただし重要なのは、TF32 は FP16/BF16 のように重み保存のための形式というより、Tensor Core 上で使われる内部計算形式に近いという点です。

これは主に NVIDIA が新しい GPU 世代で提供している計算モードであり、目的は VRAM 使用量を下げることではなく、もともと FP32 ベースだった学習ワークフローを、大きくコード変更せずに高速化することです。

要点を一言で言えば、

表向きは FP32 ワークフローのまま
行列演算の内部でより高速な近似計算を行う

ということです。

したがって TF32 が解決するのは「FP32 が遅い」という問題であり、「FP32 が VRAM を食いすぎる」という問題ではありません。同じモデルで VRAM 要件が大きく変わる理由を考えるとき、TF32 は主因ではありません。

FP8: さらに圧縮するが、より高度な工学が必要

さらに先へ進むと FP8 があります。1 つの数値をさらに少ない bit 数で表現し、メモリ帯域と保存コストをさらに下げます。

これは単一の形式というより、代表的には E4M3 と E5M2 という二つの変種として現れます。

ただし FP8 の代償も明確です。bit 数がここまで少なくなると、範囲と精度を同時に保つのが難しくなります。そのため実際の工学では、順伝播、逆伝播、勾配など段階ごとに異なる変種を使ってバランスを取ることがよくあります。

この系統は、より攻めた方針を表しています。

さらなる精度低下を受け入れる
その代わり保存コストとスループットを改善する
より成熟したハードウェアとフレームワークが必要になる

将来性は高いですが、一般ユーザーが日常的に意識する分岐点としては、依然として FP32、FP16、BF16 が中心です。

なぜこれらの型を理解することが重要なのか

最初はこれらの略称を、ダウンロードページに書かれた実装上の細部だと捉えがちです。ですが実際には、学習やデプロイをどう理解するかそのものに関わってきます。

たとえば、同じ GPU を見ていても、

なぜ学習では数値安定性がそれほど重視されるのか
なぜ推論では量子化や低精度がすぐ話題になるのか
なぜパラメータ数が近いモデルでもデプロイ難易度が大きく違うのか
なぜある形式は重み保存向きで、別の形式は計算経路向きなのか

といった疑問が出てきます。

こうした問いを突き詰めていくと、結局は「精度、範囲、メモリ、速度をどう交換するか」という一点に戻ってきます。

だから FP32、FP16、BF16、TF32、FP8 を理解することは、単に用語集を読めるようになるためではありません。学習設定、推論エンジン、デプロイ要件を見たときに、その数字の裏で何が交換されているのかを理解するためです。

実用的な覚え方

最初から細かな仕様を全部覚えたくないなら、まずは次の順で捉えると実用的です。

FP32: 最も安定、最も高価
FP16: VRAM は減るが、範囲は狭い
BF16: FP16 に近い VRAM で、より大規模モデル向きの安定性
TF32: 主に FP32 の遅さを改善し、VRAM 削減は主目的ではない
FP8: さらに攻めた圧縮と高速化の路線

こうしておけば、モデル配布ページに fp16、bf16、fp8 と書かれていても、あるいはデプロイ手順ごとに VRAM 要件が大きく違っていても、それが単なる表記の違いではなく、精度予算と工学的な選択の違いだとわかるようになります。

結び

大規模モデルにおけるテンソル型の話は、表面上は bit 数の話に見えても、本質的には工学的なトレードオフの話です。

FP32、FP16、BF16、TF32、FP8 に絶対的な優劣はありません。それぞれが、安定性、範囲、精度、メモリ、速度のどこに重みを置くかが違うだけです。

この層が見えるようになると、学習論文を読むときも、推論設定を調整するときも、異なるデプロイ戦略を比べるときも、ずっと要点をつかみやすくなります。

BF16 on KnightLiブログ