追記：
LMStudioはオーバーヘッドがあるのか性能が出ない為、llama.cppを使用しています。
OSとしてもLinuxの方が性能が出やすいと感じています。
まだまだ遊びの延長線上ですがGemma4 27b e4bという、低コストで高速に動作しつつ、話が通じるLLMに出会い、これのQ4モデルをRTX3060x2で動かしています。gen 60～70tok/s出るため、使い物になっています。
以下記事は遥か昔に書いた内容です。
ハードウェア選択以外のLLM性能の部分はあまり参考にはなりません。
SandyおじさんからRyzenおじさんに進化した私ですが、Sandyおじさんの証、i7-2600Kはサブサブ全裸PCとして手元で稼働しています。
2024/8現在、Intelの13世代、14世代CPUにトラブルがある中、Ryzenは電力的にも改善した9000シリーズが登場し話題になっています。
そんな状況の中で新しくPCを組むことになりましたが、当然Ryzen9000シリーズのCPUなんという高額なものは買いません。
元Sandyおじさんの私としては、Ryzenおじさんに進化した時点でむこう１０年はＰＣの構成を変える必要なんてないのですが、日々ChatGPTやGeminiを活用するようになった今では、自分専用のLLMをいろいろ試したく、おそらく人生の中で一番GPUが欲しいと感じる日々を送っています。