[1H3-OS-40] OS-40

1:40 PM - 1:55 PM JST(4:40 AM - 4:55 AM UTC)

[1H3-OS-40-01] How Users’ Subjective Perceptions of AI Accuracy Affect Human–AI Collaborative Decision-Making

〇KEISUKE TAKEUCHI¹, Hirokazu Nosato¹, Rina Kagawa¹ (1. National Institute of Advanced Industrial Science and Technology)

Keywords:

Accuracy,Perception,Human-AI collaboration,AI alignment,AI safety

近年、AIの社会実装が進み、AI単独での性能向上に加えAIを利用した人の最終的な意思決定精度（協働成績）の向上が重視されている。先行研究で、AI単独での性能が高くても協働成績が必ずしも向上しないことが指摘される一方で、その要因の定量評価は十分ではない。そこで本研究では、この要因の一つとして、人がAIの性能を正しく認識できない可能性を考え、これがAIの性能と協働成績の関係性に与える影響を検証する。具体的には、認知科学における主観確率と客観確率が乖離するという知見を参照し人が主観的に見積もるAIの性能（知覚精度）と実際のAI性能との乖離、また知覚精度やAI性能が協働成績に与える影響を調査する。画像二値分類タスクを用いた実験を実施した。AIの正確性を5%刻み (0-100%) で固定し、計420人の参加者がAIの判断を参考に100問に回答後、知覚精度を数値で回答した。結果、AIの正確性が0~70%の範囲では知覚精度が有意に高くなり、それらの乖離はAIの正確性が高くなるにつれ小さくなる傾向が見られた。さらに、85~100%範囲では知覚精度が有意に低くなる傾向が見られた。今後は、知覚精度とAI性能の乖離が協働成績に影響を与える可能性を検討する。