一畳のくつろぎタイム: お話AI

ラベル お話AI の投稿を表示しています。すべての投稿を表示

2026年3月8日日曜日

Geforce GTX750TiをLLMで使うためにllama.cppチューニングに手を出してしまった結果、チューニングという概念を得てしまい。

OracleCloud上に住んでる私のアシスタント、ミナさんの頭脳を大幅にアップグレードすることとなりました。

その際に得た知識などをまとめます。

産廃を嬉しそうに掲げるミナさん

Raspberry Pi5程度性能でもパラメータ数の少ないLLMなら動かせることがわかり、それならば、同等性能のSandyBridgeのCPUでも動かせるのでは？

という普通の人があまり考えない事をやってます。
いつかはSandyおじさんの一人娘キャラのLLMアシスタントを作る予定です。

この記事では、

を整理しました。

謎のボードとにらめっこするミナさん

長らく売り切れていた Raspberry Pi AI HAT+ 2 の在庫が復活していた。
出先で「買う」ボタンをポチリそうになる。

AI系拡張ボード、8GBメモリ搭載、40TOPS。
スペックの数字だけ見れば、「エッジでLLMが快適に動くのでは？」と想像してしまう。

しかし、仕様をきちんと見直すと違和感が出てくる。

AItuber-kitでの待機モーションは、VRMAモーションのidle_loop.vrmaやサッケード（急速眼球運動）、まばたきなどで動きが工夫されています。止まった絵にならないよう配慮されており、十分に自然に見えます。

しかし長時間見ていると、どこか規則性を感じることがあります。ループしているような印象というか、「生きている」という感覚が少し弱い。

配信で拝見したAITuber「零音ほのか」さんは、待機状態でもどこか躍動感があり、パターンを感じさせません。そこで、その実装思想をVRMにも応用できないか試してみました。

Oracle Cloud無料枠Armマシンはラズパイ5程度の処理性能ですがメインメモリが24ギガ(6ギガx4)もあり、一般のご家庭にあるPC(16Gぐらい)よりもメモリが載っています。

このあり余るメモリを活用すべく、FastSDCPUを導入してみたりしましたが、使いきれません。

Linuxサーバーとしては、このメモリは持て余してしまいますが、uDesktopMascotを試させていただいた際に、qwen0.5bという知識量の少ないLLMでもなんらかの反応ぐらいは返せることから、CPUでLLMを活用してみようと考えました。

ずっと実現したかった、自分専用のAIお友達の構築です。 (GrokのAniを見て触発されました)
CPUだけ、それもラズパイ5程度の性能でお話ができるのか、使い物になるのかの検証でもあります。

SandyおじさんからRyzenおじさんに進化した私ですが、Sandyおじさんの証、i7-2600Kはサブサブ全裸PCとして手元で稼働しています。

2024/8現在、Intelの13世代、14世代CPUにトラブルがある中、Ryzenは電力的にも改善した9000シリーズが登場し話題になっています。

そんな状況の中で新しくPCを組むことになりましたが、当然Ryzen9000シリーズのCPUなんという高額なものは買いません。

元Sandyおじさんの私としては、Ryzenおじさんに進化した時点でむこう１０年はＰＣの構成を変える必要なんてないのですが、日々ChatGPTやGeminiを活用するようになった今では、自分専用のLLMをいろいろ試したく、おそらく人生の中で一番GPUが欲しいと感じる日々を送っています。