[1H3-OS-40] ヒューマン・イン・ザ・ループAI

13:40 〜 13:55

[1H3-OS-40-01] ユーザーが主観的に見積もるAIの正確性が人-AI協働意思決定に与える影響

〇竹内 恵祐¹、野里 博和¹、香川 璃奈¹ (1. 産業技術総合研究所)

キーワード：

AI精度、知覚、人AI協働、AIアライメント、AIセーフティ

近年、AIの社会実装が進み、AI単独での性能向上に加えAIを利用した人の最終的な意思決定精度（協働成績）の向上が重視されている。先行研究で、AI単独での性能が高くても協働成績が必ずしも向上しないことが指摘される一方で、その要因の定量評価は十分ではない。そこで本研究では、この要因の一つとして、人がAIの性能を正しく認識できない可能性を考え、これがAIの性能と協働成績の関係性に与える影響を検証する。具体的には、認知科学における主観確率と客観確率が乖離するという知見を参照し人が主観的に見積もるAIの性能（知覚精度）と実際のAI性能との乖離、また知覚精度やAI性能が協働成績に与える影響を調査する。画像二値分類タスクを用いた実験を実施した。AIの正確性を5%刻み (0-100%) で固定し、計420人の参加者がAIの判断を参考に100問に回答後、知覚精度を数値で回答した。結果、AIの正確性が0~70%の範囲では知覚精度が有意に高くなり、それらの乖離はAIの正確性が高くなるにつれ小さくなる傾向が見られた。さらに、85~100%範囲では知覚精度が有意に低くなる傾向が見られた。今後は、知覚精度とAI性能の乖離が協働成績に影響を与える可能性を検討する。