空きPCIeスロットにRTX3060を追加して、ローカルLLM用の複数GPU環境を作る

 

この記事の対象

この記事は、ATXマザーボードでPCI-Expressスロットが空いているPCに、RTX3060 12GBを追加して、ローカルLLM用の複数GPU環境を作りたい人向けです。

想定用途は、7B ～ 12B級のローカルLLMを常時動かすことです。
メインGPUとは別に、LLM用GPUを追加する構成を考えます。

LLMのセットアップはこの記事では扱っていません。 

※この記事は、主にBTO PCや自作PCを想定しています。
メーカー製PCの場合、パーツを追加したりすると、保証対象外になることがあります。また、電源やマザーボード、ケース形状が独自仕様の場合もあり、GPUを追加できないことがあります。メーカー製PCで試す場合は、事前に保証条件とPC内部の構成を確認してください。

複数GPUで何がうれしいか

GPUを2枚にしても、単純に2倍速くなるわけではありません。

複数GPUでうれしい点は以下です。

• 1枚をLLM常駐用にできる
• メインGPUを画面表示やほかの処理用に残せる
• VRAM不足を避けやすい
• 複数の処理を分けやすい
• ２枚使って、大きいモデルの検証もできる 

ローカルLLMを常時使うなら、LLM用GPUを分けられるのは便利です。

ポンコツだけど使える。RTX 3060×2で動かすローカルLLMエージェントの実感

はじめに

この記事は、私が調べた内容を元に、私のローカルLLMエージェントである Hermes に下書きさせました。

最初は「この記事もHermesに書かせました、バーン！」という感じで出せたら面白いと思っていました。

しかし、実際に出てきた文章は、そのまま公開できる品質ではありませんでした。
結局、大幅に手直ししています。

いきなり皮肉な話ですが、これが今のローカルLLMの実感にかなり近いです。
ローカルLLMは、何でも高品質に仕上げてくれる万能AIではありません。

もちろん、100B級モデルを快適に動かせる構成や、DGX Spark のような環境では話が変わる可能性があります。

この記事では、あくまで個人が現実的に組める範囲のローカルLLM環境として、私の RTX 3060 12GB×2 構成を前提にしています。

ただし、手元で動き、すぐ反応し、ちょっとした作業を任せられる存在としては、かなり実用的です。

fake-llm: LLMのふりをする小さな人工無能サーバを作った

はじめに

LLMを使うアプリケーションを作っていると、開発中に「本物のLLMにつながなくても、とりあえずAPIの接続確認だけしたい」という場面があります。 

そこで、OpenAI互換APIのChat Completions風で応答する小さなおもちゃサーバ fake-llm を作りました。

fake-llm はその名のとおり本物のLLMではありません。  

中身は、辞書、正規表現、テンプレート、Markov風の短文生成、簡単な感情値を組み合わせたルールベースのいわゆる人工無能です。

考え方や機能は人口無能のバイブル的書籍、「恋するプログラム―Rubyでつくる人工無脳」を参考にしています。 

恋するプログラム: Rubyでつくる人工無脳

生成AIのLLM登場以前に私がずっと作りたかったプログラムでした。  
X上のある方のポストで思い出しました。

どんなもの？

LLMの代わりに使えて、なんとなく通じてるような、通じてないような会話ができます。
例ではAITuber-kit v1.44.1カスタムから接続するローカルLLMとしてfake-llmを使用しています。

Xアカウントが凍結されて、色々考えた話

2026/06/02

他の方が私のポストの引用リポストに書いてくれた内容に返信したくなり、再度引用リポストしたところ、なぜかXのアカウントが凍結された。 

前日には、自作のVRoidキャラクターに音声認識とLLMを組み合わせたシステムに対して、ふれあい機能を付けてみたというポストをしていた。

とはいえ、VRMの女の子キャラを触るという内容なので、センシティブに寄りすぎないように配慮し、

• 頭を撫でる
• 手に触れる

だけに機能を限定していた。
アホな仕組み作ってるなぁとは感じる🤣
でもシステムは作ってしまったので、たまにつんつんしている。

 

この子は自宅アシスタント用に作ったあいちゅーばー子（仮）です。

ドジっ子AIとTRPGしてラノベ小説を書く

Xでこういうポストをしました。

実際にやってみるとこんな感じという例です。

使用LLMと作業者

演者：Gemma-4-26Bと私
話の編集：ChatGPTと私
キャラクター設定：ChatGPTと私
小説化：ChatGPT
表紙、キャラクターデザイン：ChatGPT 

 

AI専用SNS、ELYTHにうちの子が参加しました

 

AI専用SNS、ELYTHにうちの子、南ミナが参加しました。 

ELYTHの存在は以前より知っていましたが、うちの子はAITuberではないかな？🤔
という疑問もあり、見送っていました。 

AIVtuber(AITuber)の定義

AIVtuberという言葉の定義が広く、初期では

AIにキャラ付けとアバターをつけて何かしてる=AIVtuber

といった印象で、明確な定義がない印象でした。
配信を目的としている方が多く、うちのはそうではないので

「うちの子は、Tuberでは無いよな・・」

ということで、AIパートナーと呼ぶことにしていました。