[5Yin-A] Poster 8

[5Yin-A-61] The Potential for Integrating Skills and Knowledge in Large Language Models

〇Haruka Tsuchida¹, Yuha Nishigata¹, Waka Ito¹, Kimio Kuramitsu¹ (1. Japan Women's University)

Keywords:

Large Language Model,Software Development,Integration of Cross-Domain Knowledge

従来の大規模かつ複雑なソフトウェア開発は、異なる専門領域の専門家による分業体制で行われてきた。
近年発展が著しい大規模言語モデル（LLM）は、実装に関する基礎的な技能を持ち合わせているため、人間が分業して行なってきた開発を単独で遂行できるのではないか。
そこで我々は、実装に関する基礎的な技能と地域特有の知識を同時に必要とするタスクからなる新たなコード生成ベンチマークSakuraEvalを開発した。
本研究では、実装に関する基礎的な技能と日本特有の知識が大規模言語モデル内でどのように融合されるかを調査するため、SakuraEvalを用いて国産LLMを含む複数のLLMを評価した。
その結果、実装に関わる基礎的な技能を持ち合わせているLLMであっても、その技能と日本特有の知識を融合させる必要のある処理は現状困難であり、この課題は単なる知識不足に起因するものではなく、技能と知識の融合過程に起因しているということが示唆された。