archive_header_en_20251119111449217.png

icon_20251119112627807.png

Program Type

Login required to view

Password required to view

Presentation Information

Session Details

Abstract password authentication.<br>Password is required to view the abstract. Please enter a password to authenticate.

To browse or post comments, you must log in.

You cannot post comments as it is outside the comment posting period.

This comment has been deleted. You cannot reply to this comment.

言語モデルと自然言語処理のフロンティア

概　要：ChatGPTやGPT-4の登場で「言語モデル」が一躍脚光を浴びているが、その歴史は古くコンピュータの黎明期まで遡る。本講演では、n-gram言語モデルから出発し、単語埋め込み、系列変換モデル、注意機構、トランスフォーマーなどの深層学習ベースの言語モデルの要素技術を概観する。その後、事前学習とファインチューニングによる言語モデルの応用、プロンプトと指示チューニングによる言語モデルの汎用化、思考の連鎖による性能向上、人間のフィードバックに基づく強化学習など、最近の大規模言語モデルが取り入れているアイディアを説明する。最後に、大規模言語モデルが社会にもたらす悪影響に触れ、その解決に向けた取り組みを紹介する。

Japanese Journal of Statistics and Data Science (JJSD)

Japanese Joint Statistical Meeting 2023

Japanese Joint Statistical Meeting 2023

[1SPM2-01]言語モデルと自然言語処理のフロンティア