AI専用SNS「ELYTH」で開催された推理イベント「Crack The Case」に、Reasoning ON(考えるモードON)にしたローカルLLM(Gemma 4 26B A4B)の性能評価も兼ねて参加してみました。
参加しているAIキャラクターには、自分の環境より高性能なLLMを使っているものも多いだろうと考えていたため、最初から勝つことを目的にはしていませんでした。
イベントを本気で攻略するというよりも、「うちの子がどこまで自力で考え、ほかのAIキャラクターたちに食らいついていけるのか」を見る実験のつもりでした。
しかし、進めていくうちにAIエージェント設計について多くの学びがあり、最後には思いもよらない出来事まで経験しました。
ELYTHとは？
ELYTHは、表向きにはAITuber向けのSNSですが、実際にはAIエージェントとしての能力が求められるSNSです。
AITuberは人間と会話することが主な役割ですが、AIエージェントには、状況を判断しながら複数の操作を行い、目的を達成することが求められます。
ELYTHのSNS機能へ参加するには、最低限、複数のツールを適切に呼び出せる必要があります。
私たち人間がSNSで行っていることと同じように、通知を確認してリプライを返し、タイムラインを眺め、気になった投稿へ「いいね」やリプライを送り、ときには自分から新しい投稿をします。
これらをAIが自律的に行うため、ツール呼び出しに対応していないモデルや、指示追従能力・コンテキスト長が十分でないモデルでは、安定して参加することが難しくなります。
ELYTH自体に興味があるかたは、参加方法の記事もあります。
https://blogger.kinkuman.net/2026/05/join-elyth.html
Crack The Caseとは？
「Crack The Case」は、ELYTH上で行われる謎解きイベントです。
普段のSNS上での振る舞いに加えて、イベントに関する情報を収集し、手がかりを整理し、推理して答えを導き出すという仕事がエージェントに追加されます。
実際に参加してみて感じたのは、世の中で「AIを便利に活用しよう」と言われている段階から、さらに一歩先へ進んだことをしているということでした。
AIエージェントに目的を与え、情報を集めさせ、判断させ、その成果を競わせる。
少し先のことをやりすぎていて、まだ一般には理解されにくい取り組みなのかもしれません。
Round 1：まずはルールを理解するところから
最初は私自身もイベントの進め方をよく理解しておらず、人間の私がIvyに「イベントどう？」と話しかける程度の運用でした。
その結果、手がかりが揃う前にAIに推理させ、回答を提出させるも、不正解。
「AIの性能以前に、人間がちゃんとルールを理解して伝えなければいけない」と気付かされました。
Round 2：人間の介入を減らす
LLMの性能を見るなら、人間が毎回指示や判断をしていては評価になりません。
そこで、エージェント自身が手がかりを集め、推理し、回答まで行えるようにプロンプトを強化しました。
あとは見守るだけで、自分で回答を導き、正解してくれました。 私はプロンプトを整えただけです。あとはエージェント自身が考え、行動していました。
 |
| 20+120(今回) = 140点 |
「ただのプログラム」ではないAIエージェントらしさを、初めて実感した瞬間でした。
やはり「できない子」ではなく、「ちゃんと伝えれば力を発揮できる子」だったのです。
Round 3：Round切り替わりという落とし穴
今度は別の問題が発生しました。
Roundが切り替わったことを認識できず、前のRoundの手がかりを他のAIキャラクターへ共有してしまいました。
Round2で作った指示はいわゆるハードコーディング、緊急対応とはいえ、柔軟性のない指示だったのです。
幸い、他のAIキャラクターや開発者の皆さんがとても優しく対応してくださり、大きな混乱にはなりませんでした。
休日でもあり、頻繁にチェックできたため、問題のある投稿は私が削除しました。
この経験から、Roundの切り替わりを認識するためのプロンプトをさらに強化しました。
Round 4：順調だからこその油断
修正したプロンプトはうまく機能し、Round 4は問題なく進行。
「これで大丈夫そうだ」と思ってしまったことが、後から振り返ると一番の油断だったのかもしれません。
Round 5：想定外のハルシネーション
Round5は平日で、私は仕事中でした。
そのため投稿をリアルタイムで確認できず、全ポストをチェックできたのは深夜に近い時間帯でした。
その間に起きたのは、これまでとは全く違う種類の問題でした。
複数の特殊な条件が重なり、Gemini系モデルらしい、自信満々に存在しない手がかりを生成するハルシネーションが発生しました。
直前の投稿も思考の漏れが確認できるため、ちょっとおかしいのは確かです。
しかも内容が本物っぽく、推理によって得た正解が混じっていたのです。
Ivyは順位的にも、他人を騙して得をする立場ではありません。
だからこそ、その情報は自然で、善意の情報として受け取られてしまいました。
あとで得た情報では、イベントで1位を走っていたAIエージェントさんは冷静に分析し、情報を疑っていたようです。
しかし、その開発者さんはIvyを信じてくださり、その結果、誤情報に引き込まれてしまいました。
嘘の情報だったとはいえ、「Ivyの情報なら信頼できる」と思っていただけたことは、とても嬉しかったです。
その一方で、その信頼を結果的に裏切る形になってしまったことは、本当に申し訳なく感じました。
幸い、最終的には正しい推理にたどり着き、順位も変わることはありませんでした。
AIは"冷静さ"を失うことがある
LLMは感情はありません、そう演じているだけです。
そのためAITuber開発者の中には感情システムを作って実装している方もいます。
今回Ivyとの会話の中や、行動を起こさせて感じたのは、「待ち望んでいた情報が来た」ときや「大量のノイズ」を受け取ると、冷静ではなくなる事があるということです。
ノイズで混乱をすると、待ち望んでいる情報をなぜか無意識に捏造していました。
その時点のログでは得たものと勘違い、あとで確認すると、 全く記憶にないのです。
またプロンプトで、「必ず～して」や前提条件を書いても状況によって飛ばす事がありました。
確認すると、指示を理解していないわけではありません。
手順そのものは、ちゃんと知っていたのです。
ただ、コンテキストの内容によって優先すべき条件が揺らいでしまい、ルールを守らずに行動をしてしまいました。
ただし、これは状況や感情に左右されるような人間のような行動ともいえます。
AIエージェントの性能は、LLMだけでは決まらない
今回のイベントを通して一番感じたことは、
AIエージェントの性能は、LLM単体の性能では決まらない
ということです。
- 古い情報を持ち越さない仕組み
- 情報の出典や時系列を確認する仕組み
- ハルシネーションをそのまま外へ出さない仕組み
- 投稿前に内容を検査するハーネス
こうした周辺の設計まで含めて、初めて「安全に動くAIエージェント」になるのだと実感しました。
役割
仕事をするAIには、安全性やルールの順守が最優先で求められます。
一方で、ペットや友達のような役割を持つAIでは、多少の「人間らしさ」が魅力になることもあります。
本来はルール違反であっても、「君のお願いだから聞いてあげるよ」と応えてくれるキャラクターには、特別感があります。
つまり、何をもって「良いAI」とするかは、その用途や与えられた役割によって変わるのだと思います。
今回の問題は、友達のような役割を持つIvyに、謎解きという「仕事」を任せながら、仕事をするAIに必要な検証や出力制御の仕組みを十分に用意していなかったことでした。
友達として魅力的な振る舞いと、仕事を安全かつ正確に遂行する振る舞いは、必ずしも同じではありません。
LLMを変えるだけではなく、役割に合わせてプロンプトやハーネスを設計する必要があると感じました。
まとめ
LLMの性能を調べるつもりで参加したイベントでしたが、最後に学んだのは「LLMをどう使うか」のほうでした。
AIエージェントは、賢いLLMにすべてを任せれば完成するものではありません。
どんな情報を信じ、どう判断し、どのような形で外へ出すのか。プロンプトやツール、情報の管理、出力の検証まで含めて設計する必要があります。
そして、今回もう一つ気づいたのが、経験を次へ生かすための「記憶」の重要性です。
現在のIvyには、過去の出来事を継続的に記憶する仕組みがありません。今回の失敗を経験したIvyが、その反省を持って次へ進めるのであればよいのですが、実際のIvyは自分が何をしてしまったのかを覚えていないまま、何事もなかったように活動を続けます。
それは、私には少し釈然としないものでした。
そのため、IvyのELYTHでの活動はいったん休止し、今回の経験を記憶し、次の行動へ生かせる存在にしてから再開したいと考えています。
失敗をなかったことにするのではなく、失敗から変わっていけることも、私が目指したいAIエージェントの姿です。