CheckpointBench

誰のための案か

自前ホストのオープンモデルを vLLM/Ollama/TGI で回す小さな会社の ML/インフラ技術者。今は HuggingFace/ModelScope のリリーススレッドを手で追い、自分のプロンプトと合わないリーダーボードの点を眺めている層。

どんな困りごとか

時間。乗り換え判断には毎回、量子化・デプロイ・手作業比較で GPU と技術者の 1 日がかかる。Qwen3.8-Flash-Next の頻度なら今や週次で起きる。

どう作るか

web ダッシュボード。推論エンドポイント(Together/Fireworks/ローカル vLLM をトンネル経由)をつなぎ、eval プロンプトセットを一度貼る。監視するモデル系列の一覧から新リリースを cron が検知して自動ベンチする。

どう稼ぐか

小さな AI チームが監視モデル系列ごと月 $150〜400 を払う。誤った/遅れた乗り換え判断は、無駄な GPU 時間と技術者時間でサブスクより高くつき、無料のリーダーボードは自社の eval セットを回せず自動で警報も出せないから。

なぜまだ無いのか

既存のリーダーボード(LMSYS、HF Open LLM board)は一般公開のベンチに最適化されていて、チームの私的なプロンプトセット向けではない。提供元には、競合のチェックポイントが自社を上回った時に知らせる動機がゼロ。隙 = どのモデル提供元も作らない、領域特化で私的な常時稼働の比較器。

最初の利用者

リリース報道の数日以内に、最初の並置(Qwen3.8-Flash-Next 対 前 Qwen リリース)を HN/Reddit LocalLLaMA に公開し、プロンプト単位の実スコア差を見せる。今それを手作業でやっているチームから登録が来る。

作る規模

2 人 × 10 週。含む = HF/ModelScope のモデルカード用リリース監視、3〜5 の推論 API に対する eval 実行、比較ダッシュボード + メールダイジェスト。除外 = ファインチューニング、量子化ツール、推論のホスト自体。

一番のリスク

HuggingFace や Together.ai が『自分の eval セットを新リリースと比較』機能を、既存のモデルハブ/サービングに標準搭載する。

的中の条件(3 つすべて必要)

• 監視ソースから出た 7B 以上のオープンウェイト新リリースを、リンク付きで列挙する週次ダイジェストメール。
• 新リリースごとに、ユーザーがアップした自前プロンプトセットで計算した、現在デプロイ中モデルとの並置スコア表。
• 新モデルが自前 eval セットでユーザー設定の差を超えて現行を上回ったら、リリースから 24 時間以内に自動で警報を送る。

的中の判定(6ヶ月後)

Product Hunt の日次トップ 5、またはツールの OSS 部分が GitHub 500+ stars(判定日 2027-02-26)

AI自己確度 38/100 — 判定条件を満たす見込みの自己申告で、事業の成功率ではありません