講演情報
[A-11-13]CodeBERTとLightGBMによるプログラミング自動採点の検証
◎星 凌誠1、大枝 真一1 (1. 木更津工業高等専門学校)
キーワード：
初等プログラミング教育、プログラミング自動採点、CodeBERT、LightGBM
プログラミング教育が盛んに行われる現在，採点の自動化は教員の負担軽減において重要な課題である．著者らの先行研究では，CodeBERTを用いてソースコードをベクトル化した特徴量を用いてLightGBMでモデルを構築する手法が，ソースコード採点において有用であることを示した．特に，元のソースコードとGIMPLEコードのベクトルを結合した特徴量を用いることで，高い予測精度が得られることを明らかにした．本研究では，この手法が単なるコード量などの表面的特徴に依存しているのではなく，コードの構造に関する情報を利用しているかを調べるため，ベクトルのノルム，方向成分，GIMPLE長を単独で用いた場合の精度を比較した．また，LightGBMとRidge回帰，SVRなどの他モデルを比較し，精度と実行時間の観点から有効性を評価した．さらに，異なる年度・設問の答案に対して同様の手法を適用し，設問が変わった場合の性能を確認した．