[5Yin-A] ポスター8

[5Yin-A-61] 大規模言語モデルの技能と知識の融合可能性

〇土田 悠佳¹、西潟 優羽¹、伊東 和香¹、倉光 君郎¹ (1. 日本女子大学)

キーワード：

大規模言語モデル、ソフトウェア開発、異種知識の統合

従来の大規模かつ複雑なソフトウェア開発は、異なる専門領域の専門家による分業体制で行われてきた。
近年発展が著しい大規模言語モデル（LLM）は、実装に関する基礎的な技能を持ち合わせているため、人間が分業して行なってきた開発を単独で遂行できるのではないか。
そこで我々は、実装に関する基礎的な技能と地域特有の知識を同時に必要とするタスクからなる新たなコード生成ベンチマークSakuraEvalを開発した。
本研究では、実装に関する基礎的な技能と日本特有の知識が大規模言語モデル内でどのように融合されるかを調査するため、SakuraEvalを用いて国産LLMを含む複数のLLMを評価した。
その結果、実装に関わる基礎的な技能を持ち合わせているLLMであっても、その技能と日本特有の知識を融合させる必要のある処理は現状困難であり、この課題は単なる知識不足に起因するものではなく、技能と知識の融合過程に起因しているということが示唆された。