施策の効果検証レポートの書き方｜事実・解釈・次の確認をまとめる記入例

施策の効果検証レポートは、起きた変化を事実として示し、その変化を施策の効果といえるかを別に判断し、次に確かめることを決める文書です。実施前後で数字が変わっても、それだけで「施策の効果があった」とは書きません。

この記事の様式は、実務での説明を整理するための独自の書き方です。一般に確立した評価手法や、効果を保証する基準ではありません。

最初に分ける三つのこと

この記事に登場する数値・業務事例は、すべて説明用の架空例です。

「増えた」は観測です。「目標を達成した」は目標との比較です。「施策のおかげで増えた」は因果の判断です。

一枚で書く空欄様式

件名：
目的：
施策（いつから何を変えたか）：
比較条件（期間・対象・同じ数え方・異なる条件・未確認）：

観測した事実
・指標・単位・集計方法：
・比較元の値（母数・期間）：
・比較先の値（母数・期間）：
・差（比較先－比較元）：
・方向：改善を観測／悪化を観測／差を確認できない
  ※増減のどちらが望ましいかも書く
・割合なら：両方の分子/分母（%）とポイント差

事前に設定した目標と比較：達成／未達／判定不能
施策への帰属：裏付けあり／保留
根拠となる分析記録、または保留理由：
次の確認（項目・担当・期限）：
今回提案する判断（継続・修正・一時停止・追加確認）：

売上、平均処理時間、満足度などは「値と単位」「集計方法」「絶対差」を書きます。割合は分子/分母/%とポイント差を併記します。率の差と相対差は別物です。差は「比較先－比較元」で計算します。25%から約13%への差は約−12ポイントで、差し戻し率なら低下を改善として読みます。平均処理時間が48分から41分なら差は−7分です。相対差を出すなら「差÷比較元×100」で、比較元0では計算しません。割合の分母0も0%にはせず判定不能と書きます。未知の欄は「未確認」とし、推測で埋めません。

完成記入例：通常の報告

以下は架空の入力と架空の数値です。業務書類の依頼メールに記入例を追加した事例です。

件名： 記入例追加後の差し戻し状況
目的： 差し戻し率を15%以下にする（実施前に設定）。
施策： 4月8日から依頼メールに記入例を追加。
比較条件： 4月第1週と第2週の各5営業日、同じ申請種別。同じ申請を重複して数えず、差し戻しが1回以上あった申請を1件として確認担当が記録し、率は差し戻し申請件数÷申請件数で集計。別の周知はない。申請者区分は未確認。
観測した事実： 第1週10件/40件（25%）、第2週7件/52件（約13%）。件数は3件減、率は約12ポイント低下。方向は改善を観測。
目標との比較： 15%以下を達成。
施策への帰属判断： 保留。申請者区分が未確認で、比較群もない。申請件数が違うことだけでは効果を否定しないが、率を出しただけでは申請者の構成差は解消されない。
次の確認： 次の2週間、申請者区分と差し戻し理由を記録する。担当案：業務担当。期限案：4月26日。会議で担当と期限に合意する。
今回の判断案： 全件展開は保留し、条件を記録した追加確認を行う。

「裏付けあり」と書ける条件

単純な実施前後比較は、通常「保留」です。「裏付けあり」は、このテンプレートが作る判定ではありません。同じ定義で集計され、問いに妥当な比較方法が使われ、主な代替説明が検討され、データ量と不確実性、適用範囲を確認した因果分析がすでにある場合だけ、その結論を正確に転記します。

統計的な検定、因果の推定、必要なデータ量の判断は、この一枚様式だけでは行えません。確認済みの分析がなければ保留にします。HM Treasury, The Magenta Book（1.7.1、2.2.4、3.5、5.9、6.3）

裏付けありの転記例

以下は架空の確認済み因果分析記録と架空の数値です。一般に使える判断基準や必要標本数ではありません。

架空の分析記録A： 4月8日〜5月3日、初回申請者1,200人を記入例あり・なしの各600人へ無作為に割り付け、1人1申請を追跡した。同じ申請種別・差し戻し定義を使い、欠測や群間の案内共有はなく、同時施策と集計変更もないという設定。事前に定めた群分けのまま解析した。記入例なしは108件/600件（18%）、ありは72件/600件（12%）。記入例による低下の推定は6ポイント、独立二群の比率差を正規近似した概算95%信頼区間は約2〜10ポイント低下。分析担当は割付・実施状況・データ量・分析前提を確認し、この対象・期間では低下への効果を支持すると結論した。別の申請種別や長期間への適用、記録されなかった運用差は限界として残した。
レポートへの転記： 観測方向は改善、施策への帰属は「この対象・期間では裏付けあり」。根拠は分析記録A。推定は6ポイント低下、概算95%信頼区間は約2〜10ポイント低下。他の申請種別への展開は保留する。
次の確認案： 分析担当が、次の展開判断会議までに、対象を変えたときの実施条件と比較方法を確認する。

ここでは確認済み分析を転記しています。600人や95%を、どの仕事にも使える必要条件・合格基準にするわけではありません。信頼区間があっても、比較方法に偏りがあれば因果の根拠にはなりません。二群の比率差に関するNISTの説明

悪い報告と修正理由

悪い例：差し戻しが10件から7件になったので、記入例の効果が出た。全案件に広げたい。

対象件数も比較条件もなく、観測から原因へ飛躍しています。上の完成例のように、10/40と7/52を示し、「改善を観測したが帰属は保留」と直します。事前目標がなかったなら、結果を見て目標を足して達成扱いにせず「事前目標なし・判定不能」と書きます。

情報が足りないとき・悪化したとき

フォームの必須項目を減らした週に広告対象地域も変えたなら、完了率が30%から40%へ上がっても、フォーム変更への帰属は保留です。流入元別の対象件数と広告条件を確認します。

案内変更後に差し戻し率が10%から約18%へ上がれば、件数の増減と約8ポイント上昇を観測として書きます。変更翌日の対象が0件なら、その日の率は「対象0件のため判定不能」です。別の周知が未確認なら原因は保留にし、周知履歴と問い合わせ内容を確認します。業務への支障が大きい場合は、因果が未確定でも一時停止や見直しを判断することがあります。実施済みの対応と、これから判断担当に相談する案は分けて記録します。

書く順番

1. 施策と見る指標を一文で固定する。実施前の目的・課題・行動は施策とは？で整理する。
2. 比較条件と未確認事項を書く。比較の問いを決めにくければ、問題構造の考え方で要素と制約を整理する。
3. 値・単位・集計方法・絶対差を書く。割合なら分子、分母、%、ポイント差も書く。
4. 観測、事前目標との比較、帰属判断を別欄に置く。
5. 保留なら、誰がいつ何を確認するかまで決める。

報告前の確認リスト

• 値、単位、期間、対象、集計方法を添えたか
• 割合には分子、分母、ポイント差を添えたか
• 基準値0で相対差を計算していないか
• 目標は事前設定値を転記し、未設定・後付けなら判定不能としたか
• 単純な前後比較を「裏付けあり」としていないか

まとめ

効果検証レポートは、数字を並べる文書ではありません。比較条件と観測を記録し、原因について言える範囲を確かめ、判断担当へ次の確認と行動案を伝える文書です。