.png) |
| 謎のボードとにらめっこするミナさん |
長らく売り切れていた Raspberry Pi AI HAT+ 2 の在庫が復活していた。
出先で「買う」ボタンをポチリそうになる。
AI系拡張ボード、8GBメモリ搭載、40TOPS。
スペックの数字だけ見れば、「エッジでLLMが快適に動くのでは？」と想像してしまう。
しかし、仕様をきちんと見直すと違和感が出てくる。
8GBメモリなのに、なぜ1.5B止まり？
あれ？
AI HAT+2は、Hailo-10H NPUと8GB専用RAMを搭載している。
数字だけ見ると「7Bモデルもいけるのでは？」と期待してしまうが、公式で用意されているLLMは
- 1Bクラス
- 1.5Bクラス
が中心。7Bどころか3B、4Bあたりも用意されていない。
増える可能性はあるが、今のところ1.5B以上のモデルの存在を調べた範囲では確認できていない。
LLMの出力速度(tok/s)
Jeff geerlingさんが比較をしています。
https://www.jeffgeerling.com/blog/2026/raspberry-pi-ai-hat-2/
結論としては、それほど速くなくて(7～8tok/s)
RaspberryPi5のCPUをぶん回した方が、Hailo 10Hを使うより性能がでる
らしいのだ・・。
しかも1.5倍ぐらいCPUの方が速い・・、あれ？、AI HAT+2いらない子じゃないか？
もっと現実的な比較対象
ここで冷静になる材料がある。
中古で5,000円程度の GeForce GTX 1050。
このクラスのGPUでも、量子化された1.5Bぐらいの小さなモデルだと 20～40tok/s が出るのだ。
価格帯はAI HAT+2より安い。
しかもCUDA最適化が成熟している。
AI HAT+2は、一番安いショップでも24,310円というお値段で、これだけ出せば、中古のGTX1660TiやRTX2060あたりが買えてしまう。
消費電力はもちろんGTX1050のほうが高いが、
- モデルの自由度
- 対応フォーマット
- ソフトウェア資産
- 情報量
すべてにおいてGPU側が有利。
「LLMを回す」という一点で見るなら、既存GPUのほうが現実的な選択肢になる。
LLM用途での現実的な位置づけ
AI HAT+2は Raspberry Pi 5 にPCIe接続する。
では、Pi5 CPUで量子化LLMを回すのと何が違うのか？
- トークン速度は劇的には伸びない
- 体感差は限定的
- 消費電力はやや低い
「速くなる」というより、「多少省電力になる」寄りの性格のようだ。
画像解析用途では強い
もちろん、AI HAT+2が悪い製品という話ではない。
- 物体検出
- セグメンテーション
- エッジAIカメラ用途
といったCNN系処理には強い。
もともとHailo NPUはこの領域向け。
問題は、LLM用途として期待するとズレるという点だ。
結論
AI HAT+2は、
- 低消費電力エッジ推論用途には意味がある
- 製品組み込みには良い選択肢
- 画像解析用途には向いている
しかし、
「LLMを快適に回したい」という目的なら、優先度は高くない。
省電力、または、ロマンを目的としないと残念な結果になってしまう。
普通のPCにグラボ追加のイメージで買っていけないようだ。