[2M4-GS-11a] AIと社会：AIガバナンスと社会実装

14:15 〜 14:30

[2M4-GS-11a-04] 法令に基づくローカライゼーションによる社会的バイアス評価

〇金子 正弘^2,3、松田 寛^1,3、鈴木 久美³、関根 聡³ (1. 株式会社リクルート Megagon Labs、2. MBZUAI、3. 国立情報学研究所)

キーワード：

AIの安全性、社会的バイアス、ステレオタイプ、差別

大規模言語モデルは差別的な社会的バイアスを含む情報を生成するリスクがあり，その評価が必要である．
しかし，何を「差別的な社会的バイアス」とみなすかは社会的文脈に依存するため，普遍的な価値基準を定義することは難しく，個々の社会的文脈において合意可能な価値基準に基づいた安全性担保を行う必要がある．
社会的バイアスのベンチマーク構築に関する先行研究では，社会的文脈の一つである国による価値基準の相違に対応するため，当該国のアノテーターを用いてローカライゼーションを行っているが，この手法はアノテーターの主観に強く依存しており，安全性の判断が当該国において合意可能なものであることを明確には担保していない．
本研究では，各国において合意された「差別的な社会的バイアス」の最低限の基準として，法令とその判例等を根拠とする安全性担保のローカライゼーションを提案し，日本の雇用関連領域および医療提供関連領域の法令において差別と判断された事例を収集して，社会的バイアスデータセット - JLawBias を構築し，6つの日本語対応LLMに対して簡易な評価を実施して手法の有効性を確認した．