統計家コミュの統計的検定はサンプルサイズ次第できまる？

こんにちは、統計の勉強をしているものです。

「本当にわかりやすいすごく大切なことが書いてあるごく初歩の統計の本」に書いていたことについてです。

この本のｐ．２３２－３に統計的検定ではデータ数を増やせば条件の差がゼロではないことが必ず実証されるとあります。

そこからデータ数が多すぎれば統計的検定は無意味だということが書かれています。

著者の主観ではデータが三桁ぐらいから実質的に差があると判断をくだすべきではないとあります。

私はデータ数が増えれば、同時に標準偏差や平均値が変わるので統計的検定は無意味ではないと思います。

どうでしょうか、統計的検定はサンプルサイズが多ければ無意味なんでしょうか？昔、サンプルサイズ６００以上だと誤差はかわらないとか聞いたのですが・・。たとえば視聴率とかでこの考えが採用されていたような気がします。これは検定とは関係ないんでしょうか？

コメント(19)

最初
全て
最新の40件

[2] mixiユーザー 07月12日 17:15

うーん。どうしてそうなると思うかと言われれば、そういやわかりませんね。ただ、どうして変わらないのかもわからない。

やはり、ここに私の認識の根本的な間違いがあるんでしょうか・・・。

サンプルサイズは多ければ多いほどいいと思っていたのですが、それで検定の結果がかわるっていうなら、検定の意味がわからなくなります。

というのも以下のような文章もあるんですが、無批判な乱用が多すぎるような。

サンプルサイズが多いなら推定の方がいいんでしょうね。

「そもそも統計的検定とういものは少数のデータにおいて示された偶然性の高い結果（差や相関）に対して過大な意味づけがなされてしまうことを抑制するために用いられるべきものであり、データ数が多い場合には運用する意味があまりないと考えられます」（２４０ページ）

「統計的検定は、本来、データの解釈の主観性を抑える（特に、各研究者が、偶然によっても十分に起こり得る程度の差でしかないものを過度に一般化して、軽率に各自の理論や仮説が正しいと主張してしまうのを防ぐ）ためにあるのだと思います。・・・中略・・・しかし、その無批判な使用が、かえって、統計的検定の結果が有意でありさえすれば意味のある現象について一般化ができたと短絡的に結論づけてしまう、本来の意にそぐわない風潮ともたらしてしまっているようです」（２４７ページ）

[4] mixiユーザー 07月12日 18:07

本来、帰無仮説の通りぴったりイコールということはありえないわけで、サンプル数が増えればわずかな差でもより検出されやすくなるのはあたりまえだと思うのですが。

[5] mixiユーザー 07月12日 18:09

サンプル数が増えても、仮説検定は無意味ではないと思います。
例えば二つの母集団の平均値の差を検定するとき、サンプル数が多ければ多いほど、標本平均はそれぞれの真の値に近づきます。
仮に本当に差がある場合、その真の値に近づいた二つの標本平均にわずかな差でもあれば、有意な差があると判断できます。なぜなら、二つの標本平均は限りなく真の値に近づいているにもかかわらず、差があるからです。
一方、本当は差がない場合、サンプル数が多ければ多いほど、二つの標本平均は限りなく近づいていき、ほぼ等しい値になります。
要するに、本当に差がある場合には、サンプル数を増やせば、差があることを実証しやすくなります。
本来的には、サンプル数が増えることは、分析上好ましいこと（統計的推測の精度が高まる）だと思います。
と、私は思うのですが、間違いがあればご指摘お願いします。

[8] mixiユーザー 07月12日 19:40

みなさん返答ありがとうございます。

＞むりんさん

議論するつもりはありません。要するに、サンプル数が多ければ意味がないという上記の本の主張は本当かということです。むりんさん、げんしろうさんが「意味がない派」みたいですね。サンプル数は多ければ多いほどいいという偏見が僕にあったみたいです。それで、標準偏差と平均値が変わるはずだという結論を導きました。どうやらそれは間違いみたいですね。

標本分布といえば、標本からとりだされた標本平均の分布と「よくわかる心理統計」という本をぱっと読み返してみるとあるけど・・・違うかも。

「検定力がサンプルサイズの関数」、「統計量の標準誤差がサンプルサイズの関数」

関数って言葉を出されると、難しいですね。サンプルサイズがかわると標準誤差（標本の標準偏差）もかわるのもわかるんですが・・・。

＞おぎっちさん

「本当にわかりやすいすごく大切なことが書いてあるごく初歩の統計の本」（以下、「本当に」）にでは

「検定をするまでもなく、すべての帰無仮説は誤りでありうことが理論上わかっています。（中略）、たとえば、帰無仮説は”母集団における２つの条件の平均値の差は０である”ですが、この”０”という差の値は連続線上に無限に存在する値の中の１点でしかなく、母集団における平均値の差がちょうどこの値になる確率は∞分の一で０になるからです」（232ページ）

「たとえば、ある政党に対する支持率の性差が数パーセント程度しかなければ、データ数がきわめて多いためにその差が統計的に有意であったとしても、性という変数は、ある人がその政党を支持しているか否かを予測する際に実質的に意味のある要因だとはいえない」（233ページ）

僕もおぎっちさんの言うとおり、サンプル数が増えることは分析上好ましいことだと思っていたのですが、むりんさん、げんしろうさんの意見を聞くと、この本のいうことは本当みたいですね。

[10] mixiユーザー 07月12日 21:42

サンプルサイズが増えれば差が小さくとも統計的に有意な差であるという結果になりやすいのは、良くあることです。

たとえば、年齢の幅が30ー70才のランダムに抽出されたサンプルを用いて、何らかの特性で分けた二つのグループで比較したときに、サンプル数が10000以上だと、二群の年齢差がわずか（たとえばグループAが48歳とグループBが50歳）でも、それぞれの分散が小さければ有意な差があるという結果になります。サンプル数が多ければ分散も小さくなるものなので、このような結果になりやすいのです。さて、統計的に有意な差があるという結果が得られたとして、48歳と50歳は、実質的に差が有ると考えてもいいのでしょうか?　　単位が年齢ではなく、尺度の得点だったらどうですか?　スコアレンジ30-70点の尺度の平均がそれぞれ48点と50点だとしたら、その差は実質的な意味はありますか?　

答えは調査内容によってさまざまでしょう。平均値だけでなく、どのようにサンプリングしたのか、何を比較しているのか、数値の幅はどれくらいか、分布はどうなのかなどを考慮して解釈しなければいけません。解釈の仕方もいろいろありますが、平均値だけの比較はあまり参考にならないことが多いです。上の方が述べられているように、信頼区間のほうが多くの特徴をつかむことが可能です。

The insignificance of statistical significance testing.

Johnson, et al. 1999. Journal of wildlife management, 63 (3)

はこれらの点を面白く説明してありますので一読してみてください。

[12] mixiユーザー 07月12日 22:21

たぶん、サンプルサイズが大きい場合は検定を行うまでもないという意味で、意味がないと書いてあるのではないでしょうか。

分布の形がわかるぐらいデータがある場合には、検定結果を見るよりも、ヒストグラムを書いて比較する方が実際的です。

[13] mixiユーザー 07月13日 00:57

上のかたがたに同感です。

初心者は
本で読むだけではなく
自分で集めたデータを入力して、計算して
グラフを書いてみる実体験が大事でしょう。

検定でわかる情報がどの程度のものかは、
実際のデータを分析すれば
実感できると思います。

[14] mixiユーザー 07月13日 07:36

補足ですが
実用的には検定よりも定量的な結果がえられる平均値の差の区間推定の方が役に立ちます
特に工業分野では検定結果は定性的な結果にしか過ぎないのでそれのみでの判断は危険です

[15] mixiユーザー 07月13日 10:11

＞むりんさん
サンプルサイズが大きくても検定は役に立つんですね。わかりました。まぁ、区間推定のほうを薦めてるみたいなんで、検定のほうはあんまり深く考えないようにします。たぶん、今の私のレベルではわからないでしょうし。

「本当に」はわかりにくかったです。そうですか、あまりよくない本なんですね。有名な統計の本を書いてたんで、統計学者みたいなものかなと思ってたんですが、たしかに統計の専門家であることは書いてませんね。「心理統計学の基礎」は実は持ってます。あまりにも難しすぎて、途中で止めておきました。ちなみに僕が読んだのは「よくわかる心理統計」（山田、他）と「本当に」です。「心理統計学の基礎」とこれらの本の中間レベル本があればいいんですが・・・・。

＞豊次郎さん
やっぱ信頼区間ですか。しかし、検定っていったい・・・。

＞夏維さん
意味がないとはたぶん書いていませんが、夏維さんの言うヒストグラムを書いて比較するほうが実際的ってのはかなり納得できます。

＞さくらだんごさん
有意症を調べてぱっと読みました。確かにそうですね。「本当に」にもよく似たことが書いてありました。しかし、やっぱり検定っていったい・・・。有意にこだわるのがよくないなら、そもそも有意水準決める必要が・・・。いや、すみません、あくまで目安程度ってことですね。

＞むぎわらさん
「実際のデータを分析すれば実感できると思います」　了解しました。というか前にもいわれました。最近エクセルで統計を勉強できる本「Ｅｘｃｅｌで学ぶ統計解析」（ナツメ社）買ったんで、むぎわらさんの言うことをしばらくすれば実行できるかも。

[16] mixiユーザー 07月13日 16:00

＞アキオさん
要するに、サンプルサイズが大きいときの検定には注意が必要ということらしいですね。私の研究分野ではむしろ足りないことが実際的な問題となっていますが。

＞「平均値の差がちょうどこの値になる確率は∞分の一で０になるからです」
前後の文脈はわからないですが、差がちょうどその値になる必要はないかと。平均値がどれだけずれているか、そのズレの大きさを、統計的に予想される範囲と比べるのが、検定のしくみだと思います。
支持率の性差の話は本当のようですね。

ログインすると、残り9件のコメントが見れるよ