The 57th meeting of the Japanese association of educational psychology
Aug 26 - Aug 28, 2015Toki Messe (Niigata Convention Center)
The 57th meeting of the Japanese association of educational psychology
Aug 26 - Aug 28, 2015Toki Messe (Niigata Convention Center)
[j-sym01]研究法におけるルーチンの見直し
杉澤武俊1, 吉田寿夫2, 荘島宏二郎3, 南風原朝和4(1.新潟大学, 2.関西学院大学, 3.大学入試センター, 4.東京大学)
企画趣旨
よい研究に欠かせない要素の１つとして，適切な方法論に基づいて遂行されていることが挙げられる。適切な（あるいは最適な）方法論は個別の研究における状況や種々の条件に応じて，その都度考えていく必要がある。しかし，現状では，先行研究で採用されている方法が機械的・形式的に踏襲され，それがさらに次の研究にも受け継がれていくことで，型にはまった「ルーチン」として定着してしまっているものも多い。
こうしたルーチンは，ある特定の状況・条件下では適切である方法を本来適切ではない状況においても適用してしまうことにより，妥当でない結論を導く原因となり得る。また，かつては適切と考えられていた方法に問題があることが明らかになったり，他によい方法がないために，とりあえずの「最善策」として採用されていたものに代わる新しい方法が考案されたりした場合に，適切な方法の普及を妨げる原因となる可能性もある。
本シンポジウムでは，量的研究において，これまで多くの研究で採用されており，皆になんとなく（無批判に）受け入れられてルーチン化した方法について，問題点の指摘やより望ましい方法の提案などを行うことを目的とする。普段の研究法を批判的に見つめ直すとともに研究法に対する意識を高めるきっかけとなれば幸いである。
総花的な提示・解説・提言
吉田寿夫
「皆になんとなく受け入れられてルーチン化した問題のある方法」というときの「皆」をどの程度の割合の（どういうことを専門としている）人たちのことだと考えるかによって該当することになるかどうかが異なるであろうが，我が国の学術論文や学会発表についての管見に基づくならば，「おそらく（教育）心理学的研究を行っている人の半数以上が，（クリティカルに考えることなく）適切であろう認識をしていないために，ある共通の，妥当性が低い方法で研究を遂行している」と推察される事象は，数多く存在するであろう。また，このようなことについての認識の欠如は，自身が研究を行う場合だけでなく，他者が行った妥当性が低い研究を無批判に受け入れてしまうことにも関わっているであろう。
代表的なものとしては，測定の妥当性に関わる様々な問題（心理的概念の構成および定義に関する問題，「α係数が大きいこと＝内的整合性が高いこと」という誤解に基づく解釈，自己報告型の質問紙尺度の安易かつ不用意な使用，尺度項目の選択における因子分析への過度の依拠，安易かつ型にはまった検証活動・判断など），統計的検定への過度の依拠，共分散構造分析の安易かつ型にはまった適用，階層線形モデル分析の適用におけるネスト構造のデータとクロス構造のデータの混同，相関的研究における変動因の問題，プリポストデザインによって収集されたデータの解析法に関する問題，剰余変数の統制における無作為化への安住，といったことがまず思い浮かぶが，これらのデータの収集法と解析法に関すること以外にも，仮説やその背後にある理論を反証の危険にさらすリスキーな検証がなされない傾向や，追試の意義や意味・方法といったことなどに関しても，問い直しの必要性が多分にあると考えられる。
本話題提供では，筆者以外の若いお二人がなさるであろう「advancedなデータ解析法についての焦点を絞った解説」の導入役であることを意識して，以上のようなことについて，あえて総花的に提示・解説をするとともに，このような現状を是正するための研究法に関する学習および教育のあり方などについての私見も述べさせていただくつもりである。
統計的検定の実践に関わる諸問題を中心に
杉澤武俊
量的研究において，統計的検定はほぼ必須と言えるほど頻繁に登場する手法である。本話題提供では，検定を適用する際に見られるルーチンについて検討する。
一般的に検定の「適切さ」を評価する観点としては，⑴検定される仮説はリサーチクエスチョンを正しく反映しているか，⑵第１種の誤りの確率が設定された有意水準を超えないように統制され，かつ，検定力が可能な限り高められているか，⑶母集団分布の仮定など，その手法が適用可能な前提条件を満たしたデータを扱っているか，の３つが挙げられる。これらの観点から，比較的よく見られるルーチンについて検討を行う。主なトピックとして，(a)量的変数のカテゴリ化と，(b)事後検定を取り上げる。
(a)については，「○○が高い人は，△△も高い」という仮説を検定する際に，本来量的変数であった○○の値によって「高群」「低群」などのカテゴリに変換してから群間で△△の平均値差の検定を適用する場合が該当する。これは検定以前の「測定」の問題ととらえることもできるが，検定の文脈では検定力の低下という問題を引き起こす。
(b)については，たとえば分散分析において，主効果が有意であれば多重比較を，交互作用効果が有意であれば単純効果の検定を（さらに単純効果が有意であれば多重比較等を）行うのが一般的なルーチンとなっている。多重比較の方法としてはTukey法が採用されることが多い。また，質的変数の場合は，クロス集計表についてカイ２乗検定を適用し，事後検定として残差分析を行うというのが比較的よく見られるルーチンであろう。これらのうち，単純効果の検定や残差分析は分析者が知りたい情報を必ずしも提供してくれるわけではないと考えられる。また，多重比較の方法として，Tukey法は最良の選択肢なのであろうか。
以上の問題を中心に，具体的にどういう場合にどういう問題が生じるのか，また，代替案としてどのようなものがあるかを論じる。
実は，検定という手法の選択そのものが１つのルーチンとして見直されるべきであるが，ここではそこまでドラスティックな改革は求めない。まずはよりよい検定の実践を行うために，小さくても確実な一歩を踏み出すことを目指したい。
カテゴリカル因子分析と欠測データの処理方法
荘島宏二郎
因子分析は，観測変数群の背後に原因として少数の因子を仮定し，因子群によって変数群の相関関係を説明する手法である。因子分析は，通常，連続データに対して適用する。しかし，件数の大きさについて特段の考慮もせず因子分析を適用していないだろうか。実は，件数の小さい，具体的には４件法以下（萩生田・繁桝，1996）の，リッカートデータを連続データとみなして分析すると問題が起こりやすい。
一般に，件数の小さい２変数について，通常のピアソンの積率相関係数rを求めると，真の相関係数ρの絶対値を過小評価する（|r|<|ρ|）。つまり，原点方向にバイアスがかかる。特に，２変数の平均値（２値変数のときは１である比率）の差が大きかったり，２つの変数の件数が不揃いであるときに（椎名ら, 2014），このバイアスは観察されやすい。
過小評価された相関係数を対象に因子分析を行うと，因子負荷（因子パタン）を過小評価する。また，適切な因子数を推測できず因子数を多めに抽出してしまう傾向がある。そのようなとき，件数の小さいリッカートデータを順序尺度とみなし，カテゴリカル因子分析を行うことが推奨されている。本発表の１つめは，カテゴリカル因子分析の妥当性について解説する。
また，２つめとして，欠測データの処理の仕方について解説する。伝統的には，欠測データの対処法として，削除法（ケースワイズ削除やペアワイズ削除），単一代入法（平均値代入法や回帰予測値代入法）が多用されてきており，無批判にこれらのやり方を踏襲していないだろうか。しかし，現在ではこれらの方法は用いるべきでないとされる。その理由についてわかりやすく解説する。
データの欠測の起こり方は，統計学的に大別すると３つあり，①完全ランダム欠測，②ランダム欠測，③非ランダム欠測（情報のある欠測）に分けられる（Rubin，1976）。それぞれの欠測の起こり方については，深刻さについて順序があり，③になるほどより深刻である（対処が難しくなる）。
しかし，②までは，現在のソフトウェア環境を考慮して十分に対処することができる。具体的には，完全情報最尤法と多重代入法が有望な対処法であり，それらのメカニズムについて解説する。
よい研究に欠かせない要素の１つとして，適切な方法論に基づいて遂行されていることが挙げられる。適切な（あるいは最適な）方法論は個別の研究における状況や種々の条件に応じて，その都度考えていく必要がある。しかし，現状では，先行研究で採用されている方法が機械的・形式的に踏襲され，それがさらに次の研究にも受け継がれていくことで，型にはまった「ルーチン」として定着してしまっているものも多い。
こうしたルーチンは，ある特定の状況・条件下では適切である方法を本来適切ではない状況においても適用してしまうことにより，妥当でない結論を導く原因となり得る。また，かつては適切と考えられていた方法に問題があることが明らかになったり，他によい方法がないために，とりあえずの「最善策」として採用されていたものに代わる新しい方法が考案されたりした場合に，適切な方法の普及を妨げる原因となる可能性もある。
本シンポジウムでは，量的研究において，これまで多くの研究で採用されており，皆になんとなく（無批判に）受け入れられてルーチン化した方法について，問題点の指摘やより望ましい方法の提案などを行うことを目的とする。普段の研究法を批判的に見つめ直すとともに研究法に対する意識を高めるきっかけとなれば幸いである。
総花的な提示・解説・提言
吉田寿夫
「皆になんとなく受け入れられてルーチン化した問題のある方法」というときの「皆」をどの程度の割合の（どういうことを専門としている）人たちのことだと考えるかによって該当することになるかどうかが異なるであろうが，我が国の学術論文や学会発表についての管見に基づくならば，「おそらく（教育）心理学的研究を行っている人の半数以上が，（クリティカルに考えることなく）適切であろう認識をしていないために，ある共通の，妥当性が低い方法で研究を遂行している」と推察される事象は，数多く存在するであろう。また，このようなことについての認識の欠如は，自身が研究を行う場合だけでなく，他者が行った妥当性が低い研究を無批判に受け入れてしまうことにも関わっているであろう。
代表的なものとしては，測定の妥当性に関わる様々な問題（心理的概念の構成および定義に関する問題，「α係数が大きいこと＝内的整合性が高いこと」という誤解に基づく解釈，自己報告型の質問紙尺度の安易かつ不用意な使用，尺度項目の選択における因子分析への過度の依拠，安易かつ型にはまった検証活動・判断など），統計的検定への過度の依拠，共分散構造分析の安易かつ型にはまった適用，階層線形モデル分析の適用におけるネスト構造のデータとクロス構造のデータの混同，相関的研究における変動因の問題，プリポストデザインによって収集されたデータの解析法に関する問題，剰余変数の統制における無作為化への安住，といったことがまず思い浮かぶが，これらのデータの収集法と解析法に関すること以外にも，仮説やその背後にある理論を反証の危険にさらすリスキーな検証がなされない傾向や，追試の意義や意味・方法といったことなどに関しても，問い直しの必要性が多分にあると考えられる。
本話題提供では，筆者以外の若いお二人がなさるであろう「advancedなデータ解析法についての焦点を絞った解説」の導入役であることを意識して，以上のようなことについて，あえて総花的に提示・解説をするとともに，このような現状を是正するための研究法に関する学習および教育のあり方などについての私見も述べさせていただくつもりである。
統計的検定の実践に関わる諸問題を中心に
杉澤武俊
量的研究において，統計的検定はほぼ必須と言えるほど頻繁に登場する手法である。本話題提供では，検定を適用する際に見られるルーチンについて検討する。
一般的に検定の「適切さ」を評価する観点としては，⑴検定される仮説はリサーチクエスチョンを正しく反映しているか，⑵第１種の誤りの確率が設定された有意水準を超えないように統制され，かつ，検定力が可能な限り高められているか，⑶母集団分布の仮定など，その手法が適用可能な前提条件を満たしたデータを扱っているか，の３つが挙げられる。これらの観点から，比較的よく見られるルーチンについて検討を行う。主なトピックとして，(a)量的変数のカテゴリ化と，(b)事後検定を取り上げる。
(a)については，「○○が高い人は，△△も高い」という仮説を検定する際に，本来量的変数であった○○の値によって「高群」「低群」などのカテゴリに変換してから群間で△△の平均値差の検定を適用する場合が該当する。これは検定以前の「測定」の問題ととらえることもできるが，検定の文脈では検定力の低下という問題を引き起こす。
(b)については，たとえば分散分析において，主効果が有意であれば多重比較を，交互作用効果が有意であれば単純効果の検定を（さらに単純効果が有意であれば多重比較等を）行うのが一般的なルーチンとなっている。多重比較の方法としてはTukey法が採用されることが多い。また，質的変数の場合は，クロス集計表についてカイ２乗検定を適用し，事後検定として残差分析を行うというのが比較的よく見られるルーチンであろう。これらのうち，単純効果の検定や残差分析は分析者が知りたい情報を必ずしも提供してくれるわけではないと考えられる。また，多重比較の方法として，Tukey法は最良の選択肢なのであろうか。
以上の問題を中心に，具体的にどういう場合にどういう問題が生じるのか，また，代替案としてどのようなものがあるかを論じる。
実は，検定という手法の選択そのものが１つのルーチンとして見直されるべきであるが，ここではそこまでドラスティックな改革は求めない。まずはよりよい検定の実践を行うために，小さくても確実な一歩を踏み出すことを目指したい。
カテゴリカル因子分析と欠測データの処理方法
荘島宏二郎
因子分析は，観測変数群の背後に原因として少数の因子を仮定し，因子群によって変数群の相関関係を説明する手法である。因子分析は，通常，連続データに対して適用する。しかし，件数の大きさについて特段の考慮もせず因子分析を適用していないだろうか。実は，件数の小さい，具体的には４件法以下（萩生田・繁桝，1996）の，リッカートデータを連続データとみなして分析すると問題が起こりやすい。
一般に，件数の小さい２変数について，通常のピアソンの積率相関係数rを求めると，真の相関係数ρの絶対値を過小評価する（|r|<|ρ|）。つまり，原点方向にバイアスがかかる。特に，２変数の平均値（２値変数のときは１である比率）の差が大きかったり，２つの変数の件数が不揃いであるときに（椎名ら, 2014），このバイアスは観察されやすい。
過小評価された相関係数を対象に因子分析を行うと，因子負荷（因子パタン）を過小評価する。また，適切な因子数を推測できず因子数を多めに抽出してしまう傾向がある。そのようなとき，件数の小さいリッカートデータを順序尺度とみなし，カテゴリカル因子分析を行うことが推奨されている。本発表の１つめは，カテゴリカル因子分析の妥当性について解説する。
また，２つめとして，欠測データの処理の仕方について解説する。伝統的には，欠測データの対処法として，削除法（ケースワイズ削除やペアワイズ削除），単一代入法（平均値代入法や回帰予測値代入法）が多用されてきており，無批判にこれらのやり方を踏襲していないだろうか。しかし，現在ではこれらの方法は用いるべきでないとされる。その理由についてわかりやすく解説する。
データの欠測の起こり方は，統計学的に大別すると３つあり，①完全ランダム欠測，②ランダム欠測，③非ランダム欠測（情報のある欠測）に分けられる（Rubin，1976）。それぞれの欠測の起こり方については，深刻さについて順序があり，③になるほどより深刻である（対処が難しくなる）。
しかし，②までは，現在のソフトウェア環境を考慮して十分に対処することができる。具体的には，完全情報最尤法と多重代入法が有望な対処法であり，それらのメカニズムについて解説する。