Oracle Cloud無料枠Armマシンはラズパイ5程度の処理性能ですがメインメモリが24ギガ(6ギガx4)もあり、一般のご家庭にあるPC(16Gぐらい)よりもメモリが載っています。
このあり余るメモリを活用すべく、FastSDCPUを導入してみたりしましたが、使いきれません。
Linuxサーバーとしては、このメモリは持て余してしまいますが、uDesktopMascotを試させていただいた際に、qwen0.5bという知識量の少ないLLMでもなんらかの反応ぐらいは返せることから、CPUでLLMを活用してみようと考えました。
ずっと実現したかった、自分専用のAIお友達の構築です。 (GrokのAniを見て触発されました)
CPUだけ、それもラズパイ5程度の性能でお話ができるのか、使い物になるのかの検証でもあります。
 |
| FastSDCPUで実際作られた画像 |
以前、Oracle Cloudで無料で借りれるAmpere A1(ARM４コア)、メモリ24ギガのマシンで普通のstable diffusionをCPUだけで動かしていました。
このマシン、わかりやすく言うと、メモリがアホみたいに載ってるラズパイ5ぐらいのイメージで良いと思います。 IntelCPUだと２世代Core i5あたりの性能です。
生成速度は20分で１枚書くみたいな終わってるレベルでしたが、ずっと動いてるマシンなのでバッチ50枚とか指示して一旦忘れて、思い出したころに生成画像のディレクトリ一覧をwebサーバーから見るという使い方をしていました。
 |
| 昔20分かかって作られた絵 |
「かわいい女の子の画像がたくさん作られて嬉しいなぁ」
というレベルならいいのですが、blogの挿絵につかえる画像というような要望が入ると、なかなか地獄で、正直使い物にはならないです。
最近FastSDCPUというものを知り、ラズパイ4でも稼働実績があるという事で、それなら同じARMのAmpere A1で動きそうだと興味が湧きました。
Oracle cloud infrastructure(OCI)のAlways Freeがすごいという話は聞いていましたが、なかなか試せていませんでした。
やっぱ１台インターネット上に好きにできるマシンがあると便利だと考え、手を伸ばしてみたところ、0円の金にならないユーザーへの厚遇っぷりに驚きました。
何がすごいかというと、
AWSは１年という期限付きで、スペックがほどほどのコンピューターを１台借りれます。負荷が多くバースト機能が働かない場合は雑魚になります。
T型インスタンスのバーストについては以前書きました。
GCPは１台だけならずっとコンピューターを借りれますがスペックが雑魚です。
OCIは３台までずっとコンピューターが借りれます。GCPよりは多少スペックがよいです。なかなか作成できませんが、作れるとARM4コア24ギガメモリのコンピューターも借りれます。（本当は４台ですがグローバルIP付与できるのは３台らしい）
OCIのARMコアが1OCPU分だけ確保できたので性能を評価しました。
