The 57th meeting of the Japanese association of educational psychology
Aug 26 - Aug 28, 2015Toki Messe (Niigata Convention Center)
The 57th meeting of the Japanese association of educational psychology
Aug 26 - Aug 28, 2015Toki Messe (Niigata Convention Center)
[k-tut01]教育心理学研究のためのテキストデータの計量分析
星野崇宏1, 荘島宏二郎2, 樋口耕一＃3, 富田英司4(1.慶應義塾大学, 2.大学入試センター, 3.立命館大学, 4.愛媛大学)
企画の趣旨
星野崇宏・荘島宏二郎
教育心理学分野では，研究場面はもちろん，研究実践場面でも，自由記述回答や小論文，レポート，さらには語りなどのナラティブデータなど様々なテキストデータが得られている。これらのデータに対してはテキストを解釈しコード化・カテゴリー化を行い，概念間の関係を整理するグラウンデッド・セオリー・アプローチなどを用いた質的研究が行われることが多い。しかし，質的研究においてもトライアンギュレーションといった概念はあるものの，研究者間でのコード化・カテゴリー化の不一致や，手続きの再現性がしばしば問題となり，場合によっては他の研究グループからの批判や別の文脈での検証が要求されることがあり，質的研究におけるconfirmabilityやdependabilityの基準として重視されつつある。
このような観点から一部に計算機的な処理を介在させることで手続きの可視性を高めるテキストデータの分析の在り方が模索されつつあり，例えば稲葉・抱井（2011）による「グラウンデッドなテキストマイニング・アプローチ」手法（GTMA）の提案，樋口（2004）による計量テキスト分析などといった形で多くの研究で利用されるようになっている。さらには混合研究法の一部としてテキストマイニングを利用した研究が海外では行われており，日本でも藤井・小杉・李（2005）などの先駆的な文献も存在する。
このような近年の潮流を踏まえ，テキストデータの計量分析について，テキストを自動的に処理するいわゆるテキストマイニングと，分析者が作成した基準に基づいて解析を行う計量的アプローチの違い，および質的研究との関係を理解するとともに，応用例やソフトウェアなどについても理解を深め，またテキストに対する計量的な分析の問題点や限界についても議論を行うべく，チュートリアルセッションを企画した。
そこで，まずテキストデータの計量的な分析法の開発とソフトウェアKH Coderの公開を行い，様々な分野において応用されている立命館大学の樋口耕一先生にテキストデータの計量分析の基礎とKH Coderについてご講演を頂く。
さらに愛媛大学の富田英司先生にはご自身のこれまでの研究を踏まえて，教育心理学分野でのテキストマイニングを利用した研究や教育実践の可能性，および現状での問題点などについてご講演頂き，最後にフロア全体で議論を行う。
質的データのより幅広い活用を目指しての方法的検討とソフトウェア開発
樋口耕一
新聞記事・アンケートの自由回答・授業の逐語録といった文章型のデータの分析に取り組む際には，ときとして疑問や戸惑いを感じることもあるだろう。たとえば，自分の分析結果には信頼性が確保されているのだろうか，あるいは信頼性が確保されていることを第三者にどのように伝えられるのだろうか，といった疑問である。文章のようなあらかじめ数値化されていない質的データについては，数値データの場合に比して，分析の方法が確立されておらず，「定番」と呼べるような分析ソフトウェアも普及していない。よって上述のような疑問を感じたり，分析を始めること自体に慎重になってしまうことも決してめずらしくないだろう。
こうした状況の中で筆者らは，文章型データがより幅広く活用されるようになることを願って，実用的かつ学術的裏付けの明確な分析方法「計量テキスト分析」の提案を試みてきた（川端 2009, 樋口 2014）。また，この方法の実現に必要なソフトウェアとして「KH Coder」を開発・公開している。計量テキスト分析とは，伝統的な内容分析（content analysis）の考え方にもとづきつつ，自然言語処理や統計解析と行った近年のコンピュータ技術を活用する分析方法である。
質的データを分析するためのソフトウェアとしては他にも，グラウンデッド・セオリー・アプローチを背景として開発されたQDAソフトウェアが何種類か販売されている。例えば「NVivo」「Atlas.ti」などである。背景にある考え方・機能・分析結果などについて，これらのQDAソフトウェアと比較することを通じて，「KH Coder」および計量テキスト分析の特徴を明らかにしたい。
当日は以上のような計量テキスト分析の提示に加えて，ノートPC（Windows）をお持ちの参加者には，ソフトウェアとデータを配布し，実際の分析操作を体験していただく予定である。
自然言語解析を用いた教育測定・評価における方法的課題
富田英司
教育実践の場面では，レポートやオンライン・ディスカッションなど，学習者の学習過程・成果を評価するためにテキスト情報を扱うことが多い。特に近年ではLMS等の活用が進み，以前よりも遥かに多くの機会でコンピューターを使って入力されたテキストを利用できるようになったことから，自然言語解析の技術を用いて，学習者の理解度や習得した知識・技術の活用の程度を評価するための手法の開発・普及が期待されている．そのような期待に応えることのできるアプリケーションの１つとして，KH Coder（樋口, 2004）は，自然言語解析に関する高度な専門技能がなくても無料で利用できるツールとして広く利用されてきた。
筆者はKH Coderを教育分野で利用してきたユーザーの１人である。特に，議論過程や主張構造を分析するために，自然言語解析の諸技術を活用するための手法について検討を進めている。例えば，富田（2010）は文中の反論―再反論構造が含まれていることを判別するために利用できるテキスト上の特徴を特定することを試みている。
このようなアプローチによって明らかに教育に貢献できる部分としては，評価者サイドにおける判断過程の明確化である。自然言語解析のツールを用いると，評価者が「優れている」また「不十分である」等と判断する際に，どのような言語的特徴が特定の評価結果と高い確立で共起しているのかクリアにすることが可能である。このことによって，評価者は自らの評価活動をより信頼性の高い手続きへと改善を図る事ができる。
他方，今後さらにこのような技術を活用するには，次のような課題も残されている：⑴特定の学習領域に特化した語彙をカバーする辞書をどう作成するか，⑵同義語・多義語のより適切な判定，⑶解析結果の妥当性の蓋然性を示す指標の必要性．本発表ではこれらの課題について主に検討を進める。
文 献
稲葉光行・抱井尚子（2011）． 質的データ分析におけるグラウンデッドなテキストマイニング・アプローチの提案：がん告知の可否をめぐるフォーカスグループでの議論の分析から．政策科学, 18, 255-276.
川端亮（2009）質的データのコンピュータ・コーディング，谷富夫・芦田徹郎編，よくわかる質的社会調査技法編，ミネルヴァ書房，134–147．
藤井美和・小杉考司・李政元（編著）（2005）『福祉・心理看護のテキストマイニング入門』東京：中央法規出版.
樋口耕一（2004）「テキスト型データの計量的分析―２つのアプローチの峻別と統合―」『理論と方法』，19，101-115.
樋口耕一．（2006）．「内容分析から計量テキスト分析へ―継承と発展を目指して―」『大阪大学大学院人間科学研究科紀要』32，１-27.
樋口耕一（2014）社会調査のための計量テキスト分析，ナカニシヤ出版
星野崇宏・荘島宏二郎
教育心理学分野では，研究場面はもちろん，研究実践場面でも，自由記述回答や小論文，レポート，さらには語りなどのナラティブデータなど様々なテキストデータが得られている。これらのデータに対してはテキストを解釈しコード化・カテゴリー化を行い，概念間の関係を整理するグラウンデッド・セオリー・アプローチなどを用いた質的研究が行われることが多い。しかし，質的研究においてもトライアンギュレーションといった概念はあるものの，研究者間でのコード化・カテゴリー化の不一致や，手続きの再現性がしばしば問題となり，場合によっては他の研究グループからの批判や別の文脈での検証が要求されることがあり，質的研究におけるconfirmabilityやdependabilityの基準として重視されつつある。
このような観点から一部に計算機的な処理を介在させることで手続きの可視性を高めるテキストデータの分析の在り方が模索されつつあり，例えば稲葉・抱井（2011）による「グラウンデッドなテキストマイニング・アプローチ」手法（GTMA）の提案，樋口（2004）による計量テキスト分析などといった形で多くの研究で利用されるようになっている。さらには混合研究法の一部としてテキストマイニングを利用した研究が海外では行われており，日本でも藤井・小杉・李（2005）などの先駆的な文献も存在する。
このような近年の潮流を踏まえ，テキストデータの計量分析について，テキストを自動的に処理するいわゆるテキストマイニングと，分析者が作成した基準に基づいて解析を行う計量的アプローチの違い，および質的研究との関係を理解するとともに，応用例やソフトウェアなどについても理解を深め，またテキストに対する計量的な分析の問題点や限界についても議論を行うべく，チュートリアルセッションを企画した。
そこで，まずテキストデータの計量的な分析法の開発とソフトウェアKH Coderの公開を行い，様々な分野において応用されている立命館大学の樋口耕一先生にテキストデータの計量分析の基礎とKH Coderについてご講演を頂く。
さらに愛媛大学の富田英司先生にはご自身のこれまでの研究を踏まえて，教育心理学分野でのテキストマイニングを利用した研究や教育実践の可能性，および現状での問題点などについてご講演頂き，最後にフロア全体で議論を行う。
質的データのより幅広い活用を目指しての方法的検討とソフトウェア開発
樋口耕一
新聞記事・アンケートの自由回答・授業の逐語録といった文章型のデータの分析に取り組む際には，ときとして疑問や戸惑いを感じることもあるだろう。たとえば，自分の分析結果には信頼性が確保されているのだろうか，あるいは信頼性が確保されていることを第三者にどのように伝えられるのだろうか，といった疑問である。文章のようなあらかじめ数値化されていない質的データについては，数値データの場合に比して，分析の方法が確立されておらず，「定番」と呼べるような分析ソフトウェアも普及していない。よって上述のような疑問を感じたり，分析を始めること自体に慎重になってしまうことも決してめずらしくないだろう。
こうした状況の中で筆者らは，文章型データがより幅広く活用されるようになることを願って，実用的かつ学術的裏付けの明確な分析方法「計量テキスト分析」の提案を試みてきた（川端 2009, 樋口 2014）。また，この方法の実現に必要なソフトウェアとして「KH Coder」を開発・公開している。計量テキスト分析とは，伝統的な内容分析（content analysis）の考え方にもとづきつつ，自然言語処理や統計解析と行った近年のコンピュータ技術を活用する分析方法である。
質的データを分析するためのソフトウェアとしては他にも，グラウンデッド・セオリー・アプローチを背景として開発されたQDAソフトウェアが何種類か販売されている。例えば「NVivo」「Atlas.ti」などである。背景にある考え方・機能・分析結果などについて，これらのQDAソフトウェアと比較することを通じて，「KH Coder」および計量テキスト分析の特徴を明らかにしたい。
当日は以上のような計量テキスト分析の提示に加えて，ノートPC（Windows）をお持ちの参加者には，ソフトウェアとデータを配布し，実際の分析操作を体験していただく予定である。
自然言語解析を用いた教育測定・評価における方法的課題
富田英司
教育実践の場面では，レポートやオンライン・ディスカッションなど，学習者の学習過程・成果を評価するためにテキスト情報を扱うことが多い。特に近年ではLMS等の活用が進み，以前よりも遥かに多くの機会でコンピューターを使って入力されたテキストを利用できるようになったことから，自然言語解析の技術を用いて，学習者の理解度や習得した知識・技術の活用の程度を評価するための手法の開発・普及が期待されている．そのような期待に応えることのできるアプリケーションの１つとして，KH Coder（樋口, 2004）は，自然言語解析に関する高度な専門技能がなくても無料で利用できるツールとして広く利用されてきた。
筆者はKH Coderを教育分野で利用してきたユーザーの１人である。特に，議論過程や主張構造を分析するために，自然言語解析の諸技術を活用するための手法について検討を進めている。例えば，富田（2010）は文中の反論―再反論構造が含まれていることを判別するために利用できるテキスト上の特徴を特定することを試みている。
このようなアプローチによって明らかに教育に貢献できる部分としては，評価者サイドにおける判断過程の明確化である。自然言語解析のツールを用いると，評価者が「優れている」また「不十分である」等と判断する際に，どのような言語的特徴が特定の評価結果と高い確立で共起しているのかクリアにすることが可能である。このことによって，評価者は自らの評価活動をより信頼性の高い手続きへと改善を図る事ができる。
他方，今後さらにこのような技術を活用するには，次のような課題も残されている：⑴特定の学習領域に特化した語彙をカバーする辞書をどう作成するか，⑵同義語・多義語のより適切な判定，⑶解析結果の妥当性の蓋然性を示す指標の必要性．本発表ではこれらの課題について主に検討を進める。
文 献
稲葉光行・抱井尚子（2011）． 質的データ分析におけるグラウンデッドなテキストマイニング・アプローチの提案：がん告知の可否をめぐるフォーカスグループでの議論の分析から．政策科学, 18, 255-276.
川端亮（2009）質的データのコンピュータ・コーディング，谷富夫・芦田徹郎編，よくわかる質的社会調査技法編，ミネルヴァ書房，134–147．
藤井美和・小杉考司・李政元（編著）（2005）『福祉・心理看護のテキストマイニング入門』東京：中央法規出版.
樋口耕一（2004）「テキスト型データの計量的分析―２つのアプローチの峻別と統合―」『理論と方法』，19，101-115.
樋口耕一．（2006）．「内容分析から計量テキスト分析へ―継承と発展を目指して―」『大阪大学大学院人間科学研究科紀要』32，１-27.
樋口耕一（2014）社会調査のための計量テキスト分析，ナカニシヤ出版