WEKO3
アイテム
ローカル大規模言語モデルを用いたレポート自動採点システムの開発と再現性の検証
https://hokuriku.repo.nii.ac.jp/records/2000294
https://hokuriku.repo.nii.ac.jp/records/20002944bc19ab5-fd13-4300-990b-3d3b83dc2387
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
econ06.pdf (1.9 MB)
|
|
| Item type | 紀要論文 / Departmental Bulletin Paper(1) | |||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2025-09-30 | |||||||||||||||
| タイトル | ||||||||||||||||
| タイトル | ローカル大規模言語モデルを用いたレポート自動採点システムの開発と再現性の検証 | |||||||||||||||
| 言語 | ja | |||||||||||||||
| 言語 | ||||||||||||||||
| 言語 | jpn | |||||||||||||||
| キーワード | ||||||||||||||||
| 言語 | ja | |||||||||||||||
| 主題 | 大規模言語モデル (LLM) | |||||||||||||||
| キーワード | ||||||||||||||||
| 言語 | ja | |||||||||||||||
| 主題 | レポート評価 | |||||||||||||||
| キーワード | ||||||||||||||||
| 言語 | ja | |||||||||||||||
| 主題 | 自動採点システム | |||||||||||||||
| 資源タイプ | ||||||||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_6501 | |||||||||||||||
| 資源タイプ | departmental bulletin paper | |||||||||||||||
| アクセス権 | ||||||||||||||||
| アクセス権 | open access | |||||||||||||||
| アクセス権URI | http://purl.org/coar/access_right/c_abf2 | |||||||||||||||
| その他（別言語等）のタイトル | ||||||||||||||||
| その他のタイトル | Development and Reproducibility Verification of an Automated Report Grading System Using Local Large Language Models | |||||||||||||||
| 言語 | en | |||||||||||||||
| 著者 |
田部田晋
× 田部田晋
× 篠原史成
× 斎藤英明
× 丸山洋三
|
|||||||||||||||
| 著者（英） | ||||||||||||||||
| 姓名 | Tabeta Shin | |||||||||||||||
| 言語 | en | |||||||||||||||
| 所属機関名 | Hokuriku University | |||||||||||||||
| 言語 | en | |||||||||||||||
| 著者（英） | ||||||||||||||||
| 姓名 | Shinohara Fuminari | |||||||||||||||
| 言語 | en | |||||||||||||||
| 言語 | en | |||||||||||||||
| 著者（英） | ||||||||||||||||
| 姓名 | Saito Hideaki | |||||||||||||||
| 言語 | en | |||||||||||||||
| 所属機関名 | Hokuriku University | |||||||||||||||
| 言語 | en | |||||||||||||||
| 著者（英） | ||||||||||||||||
| 姓名 | Maruyama Yozo | |||||||||||||||
| 言語 | en | |||||||||||||||
| 所属機関名 | Hokuriku University | |||||||||||||||
| 言語 | en | |||||||||||||||
| 抄録 | ||||||||||||||||
| 内容記述タイプ | Abstract | |||||||||||||||
| 内容記述 | 大学教員の教育・管理業務の増大に伴う研究時間の減少は、日本の高等教育における喫緊の課題である。特にレポート採点業務は教員に大きな負担を強いており、その効率化が求められている。本研究は、この課題に対し、学生のデータプライバシーを保護しつつ業務負担を軽減するため、学内PC 上で完結するローカル大規模言語モデル（LLM）を用いたレポート自動採点システムを開発し、その採点の再現性を定量的に検証することを目的とした。 システムはOllama フレームワークを用いて構築し、日本語処理に優れた3 つのLLM（Llama-3-ELYZA-JP-8B、Llama-3-ELYZA-JP-70B、DeepSeek-Coder-V2）を使用した。実際の授業で提出されたレポート46 件に対し、教員が作成したルーブリックに基づき、各LLM が10 回ずつ繰り返し自動採点を行った。この10 回の試行結果内の一致度（再現性）を、評価者間信頼性係数であるFleiss' κ 統計量およびGwet's AC1 統計量を用いて評価した。 結果、各モデルの10 回の採点における平均一致率は0.87 と高かった。しかし、Fleiss'κ 統計量の平均は0.36 と低い値を示した。これはデータの偏りに起因する統計的特性によるものであり、偏りの影響を受けにくいGwet's AC1 統計量の平均は0.80 と高い値を示した。このことから、本システムは実質的に安定した再現性の高い評価を行うことが示された。特に、基準が明確な観点別評価では、AC1 統計量が0.98 を超えるなど、極めて高い信頼性が確認された。 本研究により、開発したローカルLLM システムは、採点業務において再現性の高い支援ツールとして機能しうることが実証された。本システムは教員の定型的な評価作業を代替することで、教員がより本質的な教育活動に注力する時間を創出し、教育の質の向上に貢献することが期待される。 |
|||||||||||||||
| 言語 | ja | |||||||||||||||
| 内容記述 | ||||||||||||||||
| 内容記述タイプ | Other | |||||||||||||||
| 内容記述 | 〔査読有り〕の原著論文 | |||||||||||||||
| 言語 | ja | |||||||||||||||
| bibliographic_information |
ja : 北陸大学紀要 en : Bulletin of Hokuriku University 号 59, p. 107-120, 発行日 2025-09-30 |
|||||||||||||||
| 出版者 | ||||||||||||||||
| 出版者 | 北陸大学 | |||||||||||||||
| 言語 | ja | |||||||||||||||
| item_10002_source_id_9 | ||||||||||||||||
| 収録物識別子タイプ | ISSN | |||||||||||||||
| 収録物識別子 | 2186-3989 | |||||||||||||||
