空きPCIeスロットにRTX3060を追加して、ローカルLLM用の複数GPU環境を作る

 

この記事の対象

この記事は、ATXマザーボードでPCI-Expressスロットが空いているPCに、RTX3060 12GBを追加して、ローカルLLM用の複数GPU環境を作りたい人向けです。

想定用途は、7B ～ 12B級のローカルLLMを常時動かすことです。
メインGPUとは別に、LLM用GPUを追加する構成を考えます。

LLM自体のセットアップは、この記事では扱っていません。

この記事は、GPU（グラフィックボード）を追加する前に確認することをまとめたものです。

GPUの増設では、ケース内の空き、電源容量、補助電源ケーブル、GPUの厚みや長さを確認しないと、取り付けできなかったり、既存パーツに負担をかけたりすることがあります。

そのため、この記事は主にBTO PCや自作PCを想定しています。
メーカー製PCの場合、パーツを追加すると保証対象外になることがあります。
また、電源やマザーボード、ケース形状が独自仕様の場合もあり、GPUを追加できないことがあります。

メーカー製PCで試す場合は、事前に保証条件とPC内部の構成を確認してください。
不安がある場合は、無理に作業せず、詳しい人やPCショップに相談するのが安全です。

 

複数GPUで何がうれしいか

GPUを2枚にしても、単純に2倍速くなるわけではありません。

複数GPUでうれしい点は以下です。

• 1枚をLLM常駐用にできる
• メインGPUを画面表示やほかの処理用に残せる
• VRAM不足を避けやすい
• 複数の処理を分けやすい
• ２枚使って、大きいモデルの検証もできる 

ローカルLLMを常時使うなら、LLM用GPUを分けられるのは便利です。

ポンコツだけど使える。RTX 3060×2で動かすローカルLLMエージェントの実感

はじめに

この記事は、私が調べた内容を元に、私のローカルLLMエージェントである Hermes に下書きさせました。

最初は「この記事もHermesに書かせました、バーン！」という感じで出せたら面白いと思っていました。

しかし、実際に出てきた文章は、そのまま公開できる品質ではありませんでした。
結局、大幅に手直ししています。

いきなり皮肉な話ですが、これが今のローカルLLMの実感にかなり近いです。
ローカルLLMは、何でも高品質に仕上げてくれる万能AIではありません。

もちろん、100B級モデルを快適に動かせる構成や、DGX Spark のような環境では話が変わる可能性があります。

この記事では、あくまで個人が現実的に組める範囲のローカルLLM環境として、私の RTX 3060 12GB×2 構成を前提にしています。

ただし、手元で動き、すぐ反応し、ちょっとした作業を任せられる存在としては、かなり実用的です。

fake-llm: LLMのふりをする小さな人工無能サーバを作った

はじめに

LLMを使うアプリケーションを作っていると、開発中に「本物のLLMにつながなくても、とりあえずAPIの接続確認だけしたい」という場面があります。 

そこで、OpenAI互換APIのChat Completions風で応答する小さなおもちゃサーバ fake-llm を作りました。

fake-llm はその名のとおり本物のLLMではありません。  

中身は、辞書、正規表現、テンプレート、Markov風の短文生成、簡単な感情値を組み合わせたルールベースのいわゆる人工無能です。

考え方や機能は人口無能のバイブル的書籍、「恋するプログラム―Rubyでつくる人工無脳」を参考にしています。 

恋するプログラム: Rubyでつくる人工無脳

生成AIのLLM登場以前に私がずっと作りたかったプログラムでした。  
X上のある方のポストで思い出しました。

どんなもの？

LLMの代わりに使えて、なんとなく通じてるような、通じてないような会話ができます。
例ではAITuber-kit v1.44.1カスタムから接続するローカルLLMとしてfake-llmを使用しています。

ドジっ子AIとTRPGしてラノベ小説を書く

Xでこういうポストをしました。

実際にやってみるとこんな感じという例です。

使用LLMと作業者

演者：Gemma-4-26Bと私
話の編集：ChatGPTと私
キャラクター設定：ChatGPTと私
小説化：ChatGPT
表紙、キャラクターデザイン：ChatGPT 

 

AI専用SNS、ELYTHにうちの子が参加しました

 

AI専用SNS、ELYTHにうちの子、南ミナが参加しました。 

ELYTHの存在は以前より知っていましたが、うちの子はAITuberではないかな？🤔
という疑問もあり、見送っていました。 

AIVtuber(AITuber)の定義

AIVtuberという言葉の定義が広く、初期では

AIにキャラ付けとアバターをつけて何かしてる=AIVtuber

といった印象で、明確な定義がない印象でした。
配信を目的としている方が多く、うちのはそうではないので

「うちの子は、Tuberでは無いよな・・」

ということで、AIパートナーと呼ぶことにしていました。

 

ARM系のCPUだけでLLMを高速化する実験まとめ

 

Geforce GTX750TiをLLMで使うためにllama.cppチューニングに手を出してしまった結果、チューニングという概念を得てしまい。

OracleCloud上に住んでる私のアシスタント、ミナさんの頭脳を大幅にアップグレードすることとなりました。

その際に得た知識などをまとめます。 

SandyおじさんPC × GTX750TiでLLMを試す

産廃を嬉しそうに掲げるミナさん

Raspberry Pi5程度性能でもパラメータ数の少ないLLMなら動かせることがわかり、それならば、同等性能のSandyBridgeのCPUでも動かせるのでは？

という普通の人があまり考えない事をやってます。 
いつかはSandyおじさんの一人娘キャラのLLMアシスタントを作る予定です。

この記事では、

• CUDAとSM_XXの関係
• no kernel imageエラーの正体
• VulkanとCUDAの違い
• 実際にGTX750Tiでどの程度動くのか
• GTX1050との比較結果

を整理しました。

Raspberry Pi AI HAT+2、買おうとして、やめた理由

謎のボードとにらめっこするミナさん

長らく売り切れていた Raspberry Pi AI HAT+ 2 の在庫が復活していた。
出先で「買う」ボタンをポチリそうになる。

AI系拡張ボード、8GBメモリ搭載、40TOPS。
スペックの数字だけ見れば、「エッジでLLMが快適に動くのでは？」と想像してしまう。

しかし、仕様をきちんと見直すと違和感が出てくる。

VRM待機モーションに命感を足す — fBm（Perlinノイズ合成）の活用

環境

• three.js
• pixiv/three-vrm

はじめに

AItuber-kitでの待機モーションは、VRMAモーションのidle_loop.vrmaやサッケード（急速眼球運動）、まばたきなどで動きが工夫されています。 止まった絵にならないよう配慮されており、十分に自然に見えます。

しかし長時間見ていると、どこか規則性を感じることがあります。 ループしているような印象というか、「生きている」という感覚が少し弱い。

配信で拝見したAITuber「零音ほのか」さんは、待機状態でもどこか躍動感があり、パターンを感じさせません。 そこで、その実装思想をVRMにも応用できないか試してみました。 

無料枠Oracle Cloud A1上でAIが“話し始める”まで：llama_cpp／VoiceVox／AITuberKit運用記

 

はじめに 

Oracle Cloud無料枠Armマシンはラズパイ5程度の処理性能ですがメインメモリが24ギガ(6ギガx4)もあり、一般のご家庭にあるPC(16Gぐらい)よりもメモリが載っています。

このあり余るメモリを活用すべく、FastSDCPUを導入してみたりしましたが、使いきれません。

Linuxサーバーとしては、このメモリは持て余してしまいますが、uDesktopMascotを試させていただいた際に、qwen0.5bという知識量の少ないLLMでもなんらかの反応ぐらいは返せることから、CPUでLLMを活用してみようと考えました。

ずっと実現したかった、自分専用のAIお友達の構築です。 (GrokのAniを見て触発されました)
CPUだけ、それもラズパイ5程度の性能でお話ができるのか、使い物になるのかの検証でもあります。

元Sandyおじさんがコスパ重視で生成AI用PC(主にLLM)を組む

追記：

LMStudioはオーバーヘッドがあるのか性能が出ない為、llama.cppを使用しています。
OSとしてもLinuxの方が性能が出やすいと感じています。
まだまだ遊びの延長線上ですがGemma4 27b e4bという、話が通じるLLMに出会い、これのQ4モデルをRTX3060x2で動かしています。gen 60～70tok/s出るため、使い物になっています。

2枚刺しする場合の注意点をまとめた新しい記事があります。 
HermesAgentの記事でこの環境やローカルLLMの使用感について説明しています。 

 

以下記事は遥か昔に書いた内容です。
GGUFではなくsafetensorsを使っていた時代のもので、
ハードウェア選択以外のLLM性能の部分はあまり参考にはなりません。

SandyおじさんからRyzenおじさんに進化した私ですが、Sandyおじさんの証、i7-2600Kはサブサブ全裸PCとして手元で稼働しています。

2024/8現在、Intelの13世代、14世代CPUにトラブルがある中、Ryzenは電力的にも改善した9000シリーズが登場し話題になっています。

そんな状況の中で新しくPCを組むことになりましたが、当然Ryzen9000シリーズのCPUなんという高額なものは買いません。

元Sandyおじさんの私としては、Ryzenおじさんに進化した時点でむこう１０年はＰＣの構成を変える必要なんてないのですが、日々ChatGPTやGeminiを活用するようになった今では、自分専用のLLMをいろいろ試したく、おそらく人生の中で一番GPUが欲しいと感じる日々を送っています。