※こちらはミツモアAdvent Calendar 2024の12/10の記事です こんにちは、ミツモアプロダクト部データグループの増田(@masudahiroto.bsky.social)です。ミツモアでは、データドリブンでプロダクトを改善するために数多くのABテストを実施しています。その際に、事前に必要なサンプルサイズを見積もり、実験期間を算出しています。 先日、ランダムなABテストではなくDID(差分の差分法)を使った場合に、有意差検定やサンプルサイズ計算をどのように進めるべきかについて考える機会がありました。本記事では、その際に考えたメモを公開します。 ABテストとDIDの違い ABテス…