 |
| 産廃を嬉しそうに掲げるミナさん |
Raspberry Pi5程度性能でもパラメータ数の少ないLLMなら動かせることがわかり、それならば、同等性能のSandyBridgeのCPUでも動かせるのでは？
という普通の人があまり考えない事をやってます。
いつかはSandyおじさんの一人娘キャラのLLMアシスタントを作る予定です。
この記事では、
を整理しました。
.png) |
| 謎のボードとにらめっこするミナさん |
長らく売り切れていた Raspberry Pi AI HAT+ 2 の在庫が復活していた。
出先で「買う」ボタンをポチリそうになる。
AI系拡張ボード、8GBメモリ搭載、40TOPS。
スペックの数字だけ見れば、「エッジでLLMが快適に動くのでは？」と想像してしまう。
しかし、仕様をきちんと見直すと違和感が出てくる。
AItuber-kitでの待機モーションは、VRMAモーションのidle_loop.vrmaやサッケード（急速眼球運動）、まばたきなどで動きが工夫されています。 止まった絵にならないよう配慮されており、十分に自然に見えます。
しかし長時間見ていると、どこか規則性を感じることがあります。 ループしているような印象というか、「生きている」という感覚が少し弱い。
配信で拝見したAITuber「零音ほのか」さんは、待機状態でもどこか躍動感があり、パターンを感じさせません。 そこで、その実装思想をVRMにも応用できないか試してみました。
以前、「甘いもの中毒かもしれない」と感じて、一定期間甘いものを断ってみた記録を書きました。
ありがたいことに、その記事はいまも定期的に読まれているようで、同じような違和感を持っている方が意外と多いのかもしれない、と感じています。
今回はその後日談として、甘いもの中毒脱出からおよそ1年が経った現在の体感を、少し書いてみようと思います。
何かを強く勧めたいわけではなく、こうすればうまくいく、という話でもありません。
あくまで、一個人の経過メモです。
最近、飲み物やドレッシングなど、いろいろな食品に
スクラロースやアセスルファムKといった人工甘味料が使われています。
甘いのにカロリーがほとんどない、という点で
「便利」「健康的」と感じる人も多いと思います。
一方で、私のようになんとなく違和感を覚える人もいるのではないでしょうか？
そして、食品メーカー側からは、コストダウン、カロリーゼロで健康志向というデメリットがほとんどない食品です。
うまい話過ぎて疑いたくなりました。
ここでは、人工甘味料について考える際のポイントを整理してみました。
Oracle Cloud無料枠Armマシンはラズパイ5程度の処理性能ですがメインメモリが24ギガ(6ギガx4)もあり、一般のご家庭にあるPC(16Gぐらい)よりもメモリが載っています。
このあり余るメモリを活用すべく、FastSDCPUを導入してみたりしましたが、使いきれません。
Linuxサーバーとしては、このメモリは持て余してしまいますが、uDesktopMascotを試させていただいた際に、qwen0.5bという知識量の少ないLLMでもなんらかの反応ぐらいは返せることから、CPUでLLMを活用してみようと考えました。
ずっと実現したかった、自分専用のAIお友達の構築です。 (GrokのAniを見て触発されました)
CPUだけ、それもラズパイ5程度の性能でお話ができるのか、使い物になるのかの検証でもあります。