feat(cli-pr-monitor): 順位 85+86 verdict guard + matrix tests (Bundle g-1 / §A-2 P-1)

[aloekun]

Summary

• §A-2 Phase 5 dogfood P-1 (Bundle g-1) — 3 PR 連続観測 (PR feat(cli-finding-classifier): Ollama でローカル LLM 分類 CLI 追加 (ADR-038) #119/feat(cli-pr-monitor): cli-finding-classifier 統合 + Finding C strict (ADR-038 Phase 5) #120/docs: ADR-038 textual fix + Bundle f task registration (post-PR #120 follow-up) #121) で発覚した cli-pr-monitor の誤 approved 判定を fix
• 順位 85 (T1): compute_verdict() に review_state guard 追加 — CodeRabbit が not_found / pending のとき判定保留
• 順位 86 (T2): (action, review_state, findings) → verdict の transition matrix を 12 unit test で網羅
• master 上 classifier (P-0 で有効化済) が本 PR の post-pr-monitor で classification を起動 → §A-2 計測ログに dogfood 結果を記録予定

Changes

src/cli-pr-monitor/src/stages/monitor.rs

• 順位 85 fix — compute_verdict() に early-return guard を追加:

  if let Some(cr) = &result.coderabbit {
      if cr.review_state == "not_found" || cr.review_state == "pending" {
          return "CodeRabbit review が未完了のため、判定を保留します";
      }
  }

  位置: parked_* の match 分岐後、severity ベース判定の前。coderabbit が None (初期 state / skip_coderabbit) のときは guard 通過、既存挙動を保持
• 順位 86 transition matrix tests — mod tests 末尾に 12 unit test 追加:
  • parked_rate_limit / parked_review_recheck (action precedence)
  • not_found + empty / pending + empty / not_found + findings (順位 85 fix)
  • success + empty / minor / critical / high / major (severity classification)
  • skipped (skip_coderabbit path)
  • coderabbit field None (初期 state)
• 既存 should_resume_wakeup_* 7 件と並存、regression なし

.claude/cli-pr-monitor.exe

• pnpm build:cli-pr-monitor で release build を再生成し配備

バグ再現条件

review_state	findings	旧挙動	新挙動 (順位 85 fix)
not_found	[]	❌ "問題は見つかりませんでした" (誤 approved)	✅ "review が未完了のため判定を保留"
pending	[]	❌ "問題は見つかりませんでした"	✅ 判定保留
not_found	[major]	"修正が必要な指摘があります"	✅ 判定保留 (review 未完了優先)
success	[]	"問題は見つかりませんでした"	(変化なし、正常な approved)
skipped	[]	"問題は見つかりませんでした"	(変化なし、user opt-out)

§A-2 dogfood (P-1) 観測ポイント

本 PR の post-pr-monitor で [classifier] (mistral:7b) が CodeRabbit findings を分類する初の dogfood サイクル。計測対象:

1. agreement rate: 私 (Claude) の独立評価と classifier の action 一致率 — 目標 ≥80%
2. classifier latency: finding あたり秒数 — 目標 ≤5s/件
3. fallback rate: human_review fallback の比率 — 目標 ≤20%
4. normalized_issue 言語制約違反率: 英語 8 文字以上連続検出 — 目標 ≤10%
5. session token Δ: PR feat(cli-finding-classifier): Ollama でローカル LLM 分類 CLI 追加 (ADR-038) #119/feat(cli-pr-monitor): cli-finding-classifier 統合 + Finding C strict (ADR-038 Phase 5) #120/docs: ADR-038 textual fix + Bundle f task registration (post-PR #120 follow-up) #121 (classifier OFF) との input token 比較 — 目標 ≥10% 削減

PR merge 後に .takt/dogfood-pr-NNN-classified.json で findings + classified を保存し、docs/local-llm-offload-analysis.md §A-2 計測ログに追記する。

Test plan

• cargo test -p cli-pr-monitor verdict --quiet — 12/12 pass
• cargo test -p cli-pr-monitor --quiet — 163 active passed (7 ignored は事前)、regression なし
• pre-push-review APPROVE (1 iter / 2m 41s、no findings)
• release build + deploy (.claude/cli-pr-monitor.exe)
• (post-merge) classifier 起動確認 + §A-2 計測ログ記録

関連

• Bundle g-1 (順位 85 + 86) — docs/todo5.md 詳細エントリ
• §A-2 P-1 — docs/local-llm-offload-analysis.md (本 PR が dogfood の初回起動)
• ADR-038 — ローカル LLM 分類 (P-0 land 済 PR feat(local-llm): P-0 classifier opt-in + §10 ブランチ分離運用 (ADR-038 Phase 5) #123)

Summary by CodeRabbit

リリースノート

• 改善

  • CodeRabbit レビュー状態の判定ロジックを強化しました。レビューが保留中または見つからない場合、判定を保留するようになります。

• テスト

  • 判定ロジックの検証テストを追加し、複数のシナリオをカバーするようにしました。

[coderabbitai]

No actionable comments were generated in the recent review. 🎉

ℹ️ Recent review info

⚙️ Run configuration

Configuration used: Organization UI

Review profile: CHILL

Plan: Pro

Run ID: a38e06cd-b375-4a51-93cd-35c482a74a4f

📥 Commits

Reviewing files that changed from the base of the PR and between 229356c and 78c3a8f.

📒 Files selected for processing (1)

• src/cli-pr-monitor/src/stages/monitor.rs

---

📝 Walkthrough

Walkthrough

PR監視ロジックのcompute_verdict関数がCodeRabbitのreview_stateフィールドを考慮するように拡張されました。review_stateが「not_found」または「pending」の場合、新しい「pending」判定を返します。既存のparked actionロジックは優先度を維持し、テストスイートが判定の優先順位ルールと新しい動作を検証します。

Changes

Review State Verdict Logic

Layer / File(s)	Summary
Verdict Logic with Review State src/cli-pr-monitor/src/stages/monitor.rs	compute_verdict関数がresult.coderabbit.review_stateを確認し、「not_found」または「pending」の場合は「pending」判定を返すようになります。parked actionルールは既存通り優先度を保ちます。
Tests and Constants src/cli-pr-monitor/src/stages/monitor.rs	PollResultとFindingのヘルパーコンストラクタ、判定メッセージ定数が追加され、parked actionとreview_stateの優先順位、および様々な組み合わせにおけるpending判定動作を検証する複数の単体テストが追加されます。

Estimated code review effort

🎯 2 (Simple) | ⏱️ ~12 minutes

Possibly related PRs

• aloekun/claude-code-hook-test#122: review_state「not_found」/「pending」の処理とreview_stateベースの判定テストの実装を行う関連PR
• aloekun/claude-code-hook-test#113: monitor.rsの判定計算を修正し、parked_rate_limitハンドリングを導入した関連PR

🚥 Pre-merge checks | ✅ 5

✅ Passed checks (5 passed)

Check name	Status	Explanation
Description Check	✅ Passed	Check skipped - CodeRabbit’s high-level summary is enabled.
Title check	✅ Passed	タイトルは「verdict guard + matrix tests」という実装内容に一致し、PR の主要な変更（CodeRabbit review_state の判定保留ロジック追加とテスト追加）を的確に要約しています。
Docstring Coverage	✅ Passed	Docstring coverage is 81.25% which is sufficient. The required threshold is 80.00%.
Linked Issues check	✅ Passed	Check skipped because no linked issues were found for this pull request.
Out of Scope Changes check	✅ Passed	Check skipped because no linked issues were found for this pull request.

_{✏️ Tip: You can configure your own custom pre-merge checks in the settings.}

✨ Finishing Touches

📝 Generate docstrings

• Create stacked PR
• Commit on current branch

---

Thanks for using CodeRabbit! It's free for OSS, and your support helps us grow. If you like it, consider giving us a shout-out.

❤️ Share

• X
• Mastodon
• Reddit
• LinkedIn

_{Comment @coderabbitai help to get the list of available commands and usage tips.}