この記事は思いついたままに書いたポエム。
有意水準5%とは、その判断（主張）の妥当性が95%である、ということを意味する。
よって、有意水準5%で検定したら、100回に5回は第1種の過誤を犯す。
有意水準5%の論文が100本あったら、（いちおうすべての論文が正しいプロセスを踏んでいると仮定しても）うち5本は間違っている。
恐らく現実の論文はそんなに酷いことにはなっていないと思う（ただし、100本あったらそもそもプロセスが正しくないものは一定数入ってくるだろうけど）。これがどういうことなのかというと、
- そもそも5%なんて甘い有意水準は使っていない（これはあると思うけど、とりあえず無視することにする）
- 最初からある程度有力な仮説を立てて検証しているので、95%に「仮説の妥当性」がかかってくると考えられる（ちょっと異論もあるかもしれないが、「ある仮説を妥当だと思って検証し、けっきょく妥当ではなかったという事象の可能性」を考えるとけっきょく効いてくると思われる）
- 論文に発表した以外にも色々実験をしたりして、妥当性を判断している。一回検定しただけ、というのは考えづらい（逆に言えば、再現が難しい話（世の中から取ってきた統計量をそのまま使うような奴）だと5%は割とそのまま5%かもしれないので、注意が必要）
恐らくこのような事情が絡んでくるので、有意水準5%の妥当性は実際には98%とか99%とか、それぐらいには信頼できるように（個人的には）思える*1。
*1:だからって98%とか99%でも割ときつい水準だと思うので、これ以上緩める理由はないと思うが