Presentation Information
[A-14-09]Toward Practical Deployment of Text Classification Using Cloud-Based LLM
◎△Miu Kumazoe1, Anzu Mineda1, Koichiro Tanaka1 (1. Kyushu Sangyo Univ.)
Keywords:
LLM
本研究では，クラウドLLMを用いたテキスト分類機能の実運用に向けて，Gemini APIを介したGemini 2.5 Flashによるお知らせ情報の分類手法を検討した．具体的には，異なる設計方針に基づく6種類のプロンプトを作成し，分類精度および分類傾向の比較評価を行った．評価には，先行研究で使用されたデータの上位200件を用い，正解ラベルとの一致に基づく正答率やカテゴリ別の分類結果を指標とした． その結果，カテゴリ定義を明示したプロンプトが最も高い分類精度を示し，分類基準を明確化することの有効性が確認された．一方で，役割指定や具体例の付与のみでは必ずしも性能向上につながらず，プロンプト設計においては情報の与え方や構造が重要であることが明らかとなった．また，過度な情報付加は判断の曖昧化を招く可能性も示唆された． さらに，クラウドLLMとオンデバイスLLMによる分類結果を比較したところ，両者で分類傾向に違いが見られた．クラウドLLMは高い分類精度と安定した結果を示した一方で，オンデバイスLLMはカテゴリごとのばらつきが大きい傾向があった．ただし，オンデバイスLLMは通信を必要としない点やセキュリティ面での利点を有しており，利用環境や用途に応じた使い分けが重要である． 以上より，実運用においては，カテゴリ定義を明示したプロンプト設計が有効であるとともに，クラウドLLMとオンデバイスLLMの特性を踏まえたシステム設計が求められる．現在は，Android端末上で動作可能なオンデバイスLLMであるGemini Nanoを用いた追加評価を進めており，実運用への適用可能性の検証を行っている．