講演情報
[A-8-20]ローカル環境における大規模言語モデルによる転写誤り訂正手法の評価
◎△辻浦 日向1、片岡 悠2、小比賀 亮仁1、小板 隆浩2 (1. 同志社大、2. 同志社大学大学院)
キーワード:
自動音声認識、大規模言語モデル
近年,自動音声認識(ASR)と大規模言語モデル(LLM)の発展により,ASRの転写テキストにLLMを後処理として適用し,転写誤りを訂正する手法が広く研究されている.クラウドサービスでは高性能なモデルを利用できるが,固有表現が含まれる音声データや転写テキストを外部サービスへ送信することにはプライバシー上の懸念がある.
先行研究では,音声中の固有表現が含まれる区間を推定してマスキングし,加工後の音声のみをクラウドサービスへ送信する方式が提案されている.しかし,検出処理自体に誤りが生じると,保護すべき情報がそのまま送信される.ローカル環境では検出精度が不足しやすく,プライバシー保護に限界が残る.
本研究では,ASRとLLMによる誤り訂正をローカル環境内で完結させることで,クラウドサービスへの情報送信を回避する.一方,全発話へのLLMの一律適用は過剰訂正を生じさせる可能性がある.そこで,ASRの信頼度が低い発話のみにLLMによる誤り訂正を適用する信頼度フィルタリングを導入する.
評価実験では,公開コーパスSLUE-VoxPopuliに対して,Whisper tinyとQwen2.5-7Bを用いて単語誤り率(WER)で評価した.結果として,LLMを全発話に適用した場合はWERが悪化したが,信頼度フィルタリングを導入することで,特定の閾値においてASR単体のWERをわずかに下回った.また,混同行列による分析から,信頼度フィルタリングは過剰訂正抑制に有効である一方で,訂正が必要な発話の見逃しが多いことが確認された.以上より,提案手法は,プライバシー保護と一定の精度改善を両立できる可能性を示したが,訂正の必要性をより精密に判別する手法の確立が今後の課題である.
先行研究では,音声中の固有表現が含まれる区間を推定してマスキングし,加工後の音声のみをクラウドサービスへ送信する方式が提案されている.しかし,検出処理自体に誤りが生じると,保護すべき情報がそのまま送信される.ローカル環境では検出精度が不足しやすく,プライバシー保護に限界が残る.
本研究では,ASRとLLMによる誤り訂正をローカル環境内で完結させることで,クラウドサービスへの情報送信を回避する.一方,全発話へのLLMの一律適用は過剰訂正を生じさせる可能性がある.そこで,ASRの信頼度が低い発話のみにLLMによる誤り訂正を適用する信頼度フィルタリングを導入する.
評価実験では,公開コーパスSLUE-VoxPopuliに対して,Whisper tinyとQwen2.5-7Bを用いて単語誤り率(WER)で評価した.結果として,LLMを全発話に適用した場合はWERが悪化したが,信頼度フィルタリングを導入することで,特定の閾値においてASR単体のWERをわずかに下回った.また,混同行列による分析から,信頼度フィルタリングは過剰訂正抑制に有効である一方で,訂正が必要な発話の見逃しが多いことが確認された.以上より,提案手法は,プライバシー保護と一定の精度改善を両立できる可能性を示したが,訂正の必要性をより精密に判別する手法の確立が今後の課題である.
