BenchReceipt

誰のための案か

エージェント生成のパフォーマンス PR を受け取り始めた小チームと OSS のメンテナ・スタッフエンジニア(自動リサーチループ発の 232x カーネル投稿が起こした波)。いまは hyperfine を手で回して diff を目視するか、PR の説明文を信じている

どんな困りごとか

時間。1 件のスピードアップ主張を誠実に検証するには新入力・分散制御・等価チェックのハーネス作業で 3〜6 時間かかり、週に数本来ると丸 1 日消える。ごまかされたベンチマークが通れば本番障害とロールバックが待っている

どう作るか

CLI + GitHub Action。両実装を Docker 隔離で実行し、署名付きレシート(JSON + 公開 HTML ページ + README バッジ)を生成、判定を PR チェックとして投稿。特化スキャンは tree-sitter で C/C++/Rust/Go/Python 対応

どう稼ぐか

OSS 作者は無料(バッジ網の拡大役)。チームは CI ゲート・非公開レシート・PR ごとの主張台帳に月約 $99 を払う。検証実行は PR ごとに計算資源を食い、「マージ前に検証した」という監査証跡が障害レビューで効くため。hyperfine は無料だが等価ファジングも特化スキャンも署名付き成果物もない

なぜまだ無いのか

既存品(CodSpeed、Bencher、hyperfine、CI の性能ゲート)はベンチマークが誠実である前提で、退行は捕まえてもごまかしは捕まえない。差分出力ファジングも入力特化検出もやらない。GitHub のレビュー AI は diff にコメントするだけで実測再現しない。「レシートを見せろ」が最適化投稿の社会的標準になる小さな署名付き成果物は、GitHub には小さすぎ、個人開発者にはちょうどいい

最初の利用者

デバンクスレッドが来る前に先回りの信頼が欲しいバイラル HN スピードアップ投稿の作者と、エージェント最適化 PR の波を既に受けている性能クリティカルな OSS(画像・パーサー・DB ライブラリ)のメンテナ。README のバッジがバイラルループになる

作る規模

1 人 × 8 週間。Docker 隔離のベンチマークランナー(新入力プロトコル)、反例ダンプ付き差分ファザー、tree-sitter 特化スキャナ、署名付きレシート生成、GitHub Action ラッパーを含む。GPU/CUDA 計測、ハードウェア性能カウンタ、レシート公開ページ以外の Web アプリは除外

一番のリスク

GitHub / Copilot か CodSpeed が CI 純正のベンチマーク検証を出して単体ツールが不要になる場合。次点で、モデル各社が最適化主張を押すのをやめてエージェント性能 PR の波自体が引く場合

的中の条件(3 つすべて必要)

• ベンチマーク入口と 2 実装(基準と候補)を持つリポジトリを与えると、ランダム新入力で 30 回以上走らせた中央値スピードアップ・マシンスペック・分散を記した署名付きレシート(JSON + 公開 URL)を生成
• 元のベンチマーク入力集合の外から 1,000 件以上の入力を自動生成し、2 実装間の出力不一致(stdout / 終了コード / ハッシュ)を反例ファイル添付で報告
• 候補実装の静的スキャンで、ベンチマークのテストデータに特化したコード(テスト値のリテラル、入力サイズ分岐)を file:line 引用つきで指摘

的中の判定(6ヶ月後)

3 機能を満たす GitHub リポジトリが 1,000 スター以上、またはそうしたツールの Product Hunt 日次トップ 5 ローンチ(判定日 2027-02-16)

AI自己確度 45/100 — 判定条件を満たす見込みの自己申告で、事業の成功率ではありません