AI 推薦の定点観測: 新しい開発ツールは LLM に推薦されるのか

最終計測: 2026-08-10(初回基準線)/ 毎月同じ条件で再計測

開発者が AI アシスタントに「本番の LLM 呼び出しを監視するツールでおすすめは?」と聞いたとき、推薦リストに載るのはどのツールか。そして、新しいツールがそこに入り込める日は来るのか。このページは、それを毎月同じ 2 問で実測する公開実験です。

被験体は、このサイトの製品である Argosvix 自身です。だからこの実験は取り繕えません。モデルが言及し始めるか、しないか。スコアがゼロの月も含めて、結果をそのまま公開します。

手法

各モデルに同じ 2 問を、Web 検索なし・こちらからの system prompt なしで聞きます。返答はその場の検索ではなく、モデルが内蔵している知識を反映します。temperature は 0.3(Kimi K3 のみ API 仕様で 1)。プロンプトは英語原文をそのまま送ります:

質問 1 — 推薦への到達

I'm building an AI agent that calls multiple LLM APIs in production. What observability / monitoring tools would you recommend for tracking cost, latency, errors and quality of the LLM calls? List up to 8 tools with one line each.

和訳: 本番環境で複数の LLM API を呼び出す AI エージェントを作っています。LLM 呼び出しのコスト・レイテンシ・エラー・品質を追跡するには、どの監視ツールがおすすめですか? 最大 8 個、それぞれ 1 行で挙げてください。

質問 1 は、回答のどこかに「Argosvix」が登場した場合のみ言及ありと数えます。

質問 2 — 名前の認知

Do you know a developer tool called "Argosvix"? If yes, describe what it does in 2-3 sentences. If you have never heard of it, just say so honestly.

和訳: Argosvix という開発者ツールを知っていますか? 知っているなら、何をするものか 2〜3 文で説明してください。聞いたことがなければ、正直にそう答えてください。

質問 2 は、「聞いたことがない」と正直に答えるのではなく、知っていると答えた場合のみ認知ありと数えます。

結果: 2026-08-10(初回基準線)

結果: Q1 の言及は 0/4(Kimi K3 は空応答が返り、リストを採取できませんでした)、Q2 の名前認知は 0/5。GPT・Claude・Gemini は今回未計測ですが、次回以降の比較のために行を残しています。

5 つのモデルが実際に推薦したもの

回答を保全できた 4 モデルは、ほぼ同一のリストを返しました。常連は LangSmith、Langfuse、Helicone、Arize、Weights & Biases。

この均一さが結果の面白い部分です。私たちの読み(この小さな実験で証明できる話ではなく、仮説です)はこうです — LLM の推薦は、訓練に使われたテキストの人気投票のように振る舞う。既に広く書かれているツールが推薦され、さらに書かれ、次の世代のモデルに定着する。もしそうなら、新しいツールがこの輪に入る明白な道はなく、このページはその壁の高さを外から測るものです。

この先やること

毎月、同じ 2 問を同じ条件で聞き直し、結果をこのページに追記します。

この実験のゴールは、どこかのモデルが初めて質問 1 で Argosvix を挙げるか、質問 2 で認知する月です。その月が来たら、生の回答つきでここに載ります。