ARM系のCPUだけでLLMを高速化する実験まとめ

 

Geforce GTX750TiをLLMで使うためにllama.cppチューニングに手を出してしまった結果、チューニングという概念を得てしまい。

OracleCloud上に住んでる私のアシスタント、ミナさんの頭脳を大幅にアップグレードすることとなりました。

その際に得た知識などをまとめます。 

VRM待機モーションに命感を足す — fBm（Perlinノイズ合成）の活用

環境

• three.js
• pixiv/three-vrm

はじめに

AItuber-kitでの待機モーションは、VRMAモーションのidle_loop.vrmaやサッケード（急速眼球運動）、まばたきなどで動きが工夫されています。 止まった絵にならないよう配慮されており、十分に自然に見えます。

しかし長時間見ていると、どこか規則性を感じることがあります。 ループしているような印象というか、「生きている」という感覚が少し弱い。

配信で拝見したAITuber「零音ほのか」さんは、待機状態でもどこか躍動感があり、パターンを感じさせません。 そこで、その実装思想をVRMにも応用できないか試してみました。 

無料枠Oracle Cloud A1上でAIが“話し始める”まで：llama_cpp／VoiceVox／AITuberKit運用記

 

はじめに 

Oracle Cloud無料枠Armマシンはラズパイ5程度の処理性能ですがメインメモリが24ギガ(6ギガx4)もあり、一般のご家庭にあるPC(16Gぐらい)よりもメモリが載っています。

このあり余るメモリを活用すべく、FastSDCPUを導入してみたりしましたが、使いきれません。

Linuxサーバーとしては、このメモリは持て余してしまいますが、uDesktopMascotを試させていただいた際に、qwen0.5bという知識量の少ないLLMでもなんらかの反応ぐらいは返せることから、CPUでLLMを活用してみようと考えました。

ずっと実現したかった、自分専用のAIお友達の構築です。 (GrokのAniを見て触発されました)
CPUだけ、それもラズパイ5程度の性能でお話ができるのか、使い物になるのかの検証でもあります。