はじめに
この記事は、私が調べた内容を元に、私のローカルLLMエージェントである Hermes に下書きさせました。
最初は「この記事もHermesに書かせました、バーン！」という感じで出せたら面白いと思っていました。
しかし、実際に出てきた文章は、そのまま公開できる品質ではありませんでした。
結局、大幅に手直ししています。
いきなり皮肉な話ですが、これが今のローカルLLMの実感にかなり近いです。
ローカルLLMは、何でも高品質に仕上げてくれる万能AIではありません。
もちろん、100B級モデルを快適に動かせる構成や、DGX Spark のような環境では話が変わる可能性があります。
この記事では、あくまで個人が現実的に組める範囲のローカルLLM環境として、私の RTX 3060 12GB×2 構成を前提にしています。
ただし、手元で動き、すぐ反応し、ちょっとした作業を任せられる存在としては、かなり実用的です。