この記事は、私が調べた内容を元に、私のローカルLLMエージェントである Hermes に下書きさせました。
最初は「この記事もHermesに書かせました、バーン！」という感じで出せたら面白いと思っていました。
しかし、実際に出てきた文章は、そのまま公開できる品質ではありませんでした。
結局、大幅に手直ししています。
いきなり皮肉な話ですが、これが今のローカルLLMの実感にかなり近いです。
ローカルLLMは、何でも高品質に仕上げてくれる万能AIではありません。
もちろん、100B級モデルを快適に動かせる構成や、DGX Spark のような環境では話が変わる可能性があります。
この記事では、あくまで個人が現実的に組める範囲のローカルLLM環境として、私の RTX 3060 12GB×2 構成を前提にしています。
ただし、手元で動き、すぐ反応し、ちょっとした作業を任せられる存在としては、かなり実用的です。
LLMを使うアプリケーションを作っていると、開発中に「本物のLLMにつながなくても、とりあえずAPIの接続確認だけしたい」という場面があります。
そこで、OpenAI互換APIのChat Completions風で応答する小さなおもちゃサーバ fake-llm を作りました。
fake-llm はその名のとおり本物のLLMではありません。
中身は、辞書、正規表現、テンプレート、Markov風の短文生成、簡単な感情値を組み合わせたルールベースのいわゆる人工無能です。
考え方や機能は人口無能のバイブル的書籍、「恋するプログラム―Rubyでつくる人工無脳」を参考にしています。
|
| 恋するプログラム: Rubyでつくる人工無脳 |
生成AIのLLM登場以前に私がずっと作りたかったプログラムでした。
X上のある方のポストで思い出しました。
LLMの代わりに使えて、なんとなく通じてるような、通じてないような会話ができます。
例ではAITuber-kit v1.44.1カスタムから接続するローカルLLMとしてfake-llmを使用しています。
LMStudioはオーバーヘッドがあるのか性能が出ない為、llama.cppを使用しています。
OSとしてもLinuxの方が性能が出やすいと感じています。
まだまだ遊びの延長線上ですがGemma4 26b e4bという、話が通じるLLMに出会い、これのQ4モデルをRTX3060x2で動かしています。gen 60～70tok/s出るため、使い物になっています。
2枚刺しする場合の注意点をまとめた新しい記事があります。
HermesAgentの記事でこの環境やローカルLLMの使用感について説明しています。
以下記事は遥か昔に書いた内容です。
GGUFではなくsafetensorsを使っていた時代のもので、
ハードウェア選択以外のLLM性能の部分はあまり参考にはなりません。
SandyおじさんからRyzenおじさんに進化した私ですが、Sandyおじさんの証、i7-2600Kはサブサブ全裸PCとして手元で稼働しています。
2024/8現在、Intelの13世代、14世代CPUにトラブルがある中、Ryzenは電力的にも改善した9000シリーズが登場し話題になっています。
そんな状況の中で新しくPCを組むことになりましたが、当然Ryzen9000シリーズのCPUなんという高額なものは買いません。
元Sandyおじさんの私としては、Ryzenおじさんに進化した時点でむこう１０年はＰＣの構成を変える必要なんてないのですが、日々ChatGPTやGeminiを活用するようになった今では、自分専用のLLMをいろいろ試したく、おそらく人生の中で一番GPUが欲しいと感じる日々を送っています。