ボッコーニ大学の研究者がOpenAI経済研究と実施したランダム化実験では、ChatGPTへのアクセスと因果推論に基づく批判的思考訓練が、異なる側面で学生の成果を高めることが示されました。対象は1年生1,000人以上で、大学グッズストア向けのマーケティング推奨を作成する課題に取り組みました。学生は授業時間単位で四つのグループに割り付けられ、ChatGPTアクセス、因果推論訓練、両方、いずれもなしの条件が設定されました。採点は訓練を受けた人間の採点者が5点ルーブリックで実施し、別途自動テキスト分析でアイデア数や多様性、因果推論の兆候、専門家提案との類似性を測定しました。設計上、両介入の個別効果と組み合わせ効果の切り分けが可能でした。
結果として、ChatGPTへのアクセスは質と一貫性を高め、専門家に近い推奨を生み、5点満点でほぼ1点のスコア上昇が見られました。学生は多くのアイデアを盛り込み、より明確な論理でまとめましたが、最終提出は学生自身が選別しており、丸投げではありませんでした。批判的思考訓練は、アイデアが機能する理由や失敗し得る条件を説明する力を高め、より多様で明確なアイデア創出を後押ししました。評価ルーブリックでは即時のスコア向上に結び付かない一方で、独創性や前提への疑問提起といった側面が強化されたことがテキスト分析から示されました。
両介入を受けた学生は双方の利点を併せ持ち、論理的一貫性、説明の明確さ、前提への疑問提起の証拠が強く、最も幅広い指標で成果を示しました。AIが洗練度を引き上げる一方で、従来の評価は独創性や多様なアプローチを見落とす可能性があります。教育現場では、最終答案だけで理解度を測る難しさが増し、課題設計や評価基準の見直しが課題となります。実務面では、課題にプロセス記録や着想の根拠提示を組み合わせ、独創性と因果推論の明示を評価基準に組み込む設計が有効です。
詳しくは「Open AI」の公式ページまで。レポート／DXマガジン編集部
