こんにちは！タイミーのデータアナリストの @akki です。
タイミーのデータアナリティクス部では、様々な形式の勉強会が盛んに行われています。
アナリスト自身のスキルアップはもちろん、チーム全体での知識の共有や実務への応用を目指し、常に３〜４つの勉強会が開催され、有志が参加する形式をとっています。
今回は『効果検証入門〜正しい比較のための因果推論/計量経済学の基礎』(安井 翔太)を題材にした輪読と実践の勉強会についてお話しします。
この本は以前も勉強会で取り上げましたが、今回は新しいメンバーとともに再度実施しました。
輪読パート
輪読パートでは、本書を10に分けて担当を設定しました。毎週、各自が自分の担当分を要約し、Notionに記載して発表します。その後、参加者からの質疑応答や、本書の内容に基づいたディスカッションを行いました。
感想：
- すでに知っていた手法についても、改めて理論的な背景や実践する上での注意事項を学ぶことができ、理解が深まりました。
- 同じチームで働いているメンバーとの勉強会なので、議論の中で「実務で使うためには」という観点の話が出やすいのもよかったです。
実践パート
輪読を終えた後、本書で触れられた効果検証の手法をタイミーのデータに実際に適用してみたので、その要点をお伝えします。
やったこと： タイミーの営業領域の施策で、施策を実施した効果について検証しました。
分析手法：
- DiD（Difference in Differences）を選択しました。
- 勉強会の題材ということもあり、事前に検証設計に入ることができなかったため、RCT等は実施できませんでした。
- ただ介入群・非介入群ともに介入前後のデータが取得できたため、DiDを採用しました。
結果：
- 施策による改善効果が具体的に把握できました。
- またいろんな分析軸とクロスしてみることで追加の知見も得られ、今後の意思決定につながりました。
今回の分析の課題：
- 特にDiDについては、「何をもって平行トレンドとするか」が悩ましいポイントだなと改めて感じました。
- スタートアップのような変化が激しい状況では、常に平行トレンドを満たしている対照群が設定しにくく、期間の切り方次第で平行トレンドを満たす対照群が変わることもあります。
- 過去の目的変数の変化だけを見ても、本来満たすべき「時間を通じた目的変数の変化が同一である」という仮定が十分に満たせていないケースも多いです。
- 定量面だけでなく、実験群や対照群の特性や、営業活動のオペレーションといった定性情報も把握した上で、対照群を決定することが重要であると感じました。
まとめ
今回の勉強会を通じて、手法を正しく理解することでより精緻な検証ができ、それが意思決定につながることを改めて実感できました。
これからも座学と実践のサイクルを回すことで、より会社に貢献できるデータ分析をしていきたいと思います！
We’re Hiring
私たちは、ともに働くメンバーを募集しています！！
カジュアル面談も行っていますので、少しでも興味がありましたら、気軽にご連絡ください！
