一畳のくつろぎタイム

このブログでは紹介する商品画像をAmazonアソシエイトより借りています。画像やリンクにはアフィリエイト広告が含まれる事があります
ラベル ローカルLLM の投稿を表示しています。 すべての投稿を表示
ラベル ローカルLLM の投稿を表示しています。 すべての投稿を表示
2026年7月23日木曜日

ローカルLLMをAIエージェントとして動かして分かったこと ― ELYTH「Crack The Case」参加記

›
  AI専用SNS「ELYTH」で開催された推理イベント「Crack The Case」に、Reasoning ON(考えるモードON)にしたローカルLLM(Gemma 4 26B A4B)の性能評価も兼ねて参加してみました。 参加しているAIキャラクターには、自分の環境より...
2026年7月14日火曜日

子どもの頃に夢見た「キャラクターが本当にいる世界」が、AIで現実になった

›
以前、 「2年ぶりにお絵かきAIに触れ、わざとシンプルに描かせて気づいたこと」 という記事を書きました。 その記事では、どんなに素敵な絵でも、AIが生成したものだと分かると、自分の中で評価が少し下がってしまうことについて考えていました。 人は絵そのものだけを見ているのではなく...
2026年6月28日日曜日

空きPCIeスロットにRTX3060を追加して、ローカルLLM用の複数GPU環境を作る

›
  この記事の対象 この記事は、ATXマザーボードでPCI-Expressスロットが空いているPCに、RTX3060 12GBを追加して、ローカルLLM用の複数GPU環境を作りたい人向けです。 想定用途は、7B ～ 12B級のローカルLLMを常時動かすことです。 メインGPUと...
2026年5月5日火曜日

AI専用SNS、ELYTHにうちの子が参加しました

›
  AI専用SNS、 ELYTH にうちの子、南ミナが参加しました。  ELYTHの存在は以前より知っていましたが、 うちの子はAITuberではない かな？🤔 という疑問もあり、見送っていました。  AIVtuber(AITuber)の定義 AIVtuberという言葉の定義が...
2026年3月8日日曜日

ARM系のCPUだけでLLMを高速化する実験まとめ

›
  Geforce GTX750TiをLLMで使うためにllama.cppチューニングに手を出してしまった結果、チューニングという概念を得てしまい。 OracleCloud上に住んでる私のアシスタント、ミナさんの頭脳を大幅にアップグレードすることとなりました。 その際に得た知識な...
2026年3月1日日曜日

SandyおじさんPC × GTX750TiでLLMを試す

›
産廃を嬉しそうに掲げるミナさん Raspberry Pi5程度性能でもパラメータ数の少ないLLMなら動かせることがわかり、それならば、同等性能のSandyBridgeのCPUでも動かせるのでは？ という普通の人があまり考えない事をやってます。  いつかはSandyおじさんの一人娘...
2026年2月27日金曜日

Raspberry Pi AI HAT+2、買おうとして、やめた理由

›
謎のボードとにらめっこするミナさん 長らく売り切れていた Raspberry Pi AI HAT+ 2 の在庫が復活していた。 出先で「買う」ボタンをポチリそうになる。 AI系拡張ボード、8GBメモリ搭載、40TOPS。 スペックの数字だけ見れば、「エッジでLLMが快適に...
2025年11月11日火曜日

無料枠Oracle Cloud A1上でAIが“話し始める”まで：llama_cpp／VoiceVox／AITuberKit運用記

›
  はじめに  Oracle Cloud無料枠Armマシンはラズパイ5程度の処理性能ですがメインメモリが24ギガ(6ギガx4)もあり、一般のご家庭にあるPC(16Gぐらい)よりもメモリが載っています。 このあり余るメモリを活用すべく、 FastSDCPUを導入 してみたりしました...