シャープは、AIの応答内容を自動で評価するシステムを用いて、ユーザーに寄り添った自然な会話を実現するAI会話技術を開発しました。自社のAI会話機能搭載製品やサービスで観測された会話傾向を分析し、機能説明に限らず幅広い雑談が交わされている実態を確認しています。そこで、こうした何気ない会話を心地よく楽しめる体験が製品やサービスへの愛着につながるとの考えから、独自のAI技術であるCE-LLMの一部として会話技術の開発を進めました。従来は人手による主観評価が中心で、時間がかかることや評価者によるばらつきが課題でした。この課題に対し、会話の好ましさを定量的に測定できる評価基準を構築し、自動化することで短時間での評価と改善を可能にしました。評価から改善までのサイクルを繰り返すことで、好ましい応答の精度を継続的に高める仕組みです。
会話の好ましさを9項目で定量化 LLMによる自動評価でチューニングを加速
シャープは、先行研究の調査を踏まえて会話の好ましさに影響する項目を抽出し、体系化した評価基準を整備しました。即応性や文脈理解、知識力などの観点を含む9項目の基準を用い、AIや大規模言語モデルが生成した応答を別のLLMで評価する手法を採用しています。いわゆるLLMを審査役とする評価により、短時間での自動スコアリングを実現した点が特徴です。これにより、どの観点に課題があるかを明確化でき、人手評価のばらつきを排除したチューニングが可能になります。定量的な指標がなかった従来の状況から一歩進み、統一された評価尺度で改善の効果を測定できる体制が整いました。評価システムの導入は開発のリードタイム短縮にもつながり、継続的な品質向上を支える基盤となります。
CE-LLMを核にエッジとクラウドを連携 生活に溶け込むコミュニケーションを志向
本技術は、シャープ独自のCE-LLMに位置づけられています。CE-LLMはCommunication Edge Large Language Modelの略で、エッジデバイスにAIを搭載し、必要に応じてクラウドAIをシームレスに活用する設計です。これにより、スムーズで心地よいコミュニケーション体験の提供を目指しています。生活やビジネスの様々な場面でAIが自然に溶け込む世界観を掲げ、会話の自然さと利便性の両立を図っています。今回の評価基盤は、その世界観の実装を支える重要な要素として機能します。エッジ側の即応性とクラウド側の知識や生成能力を組み合わせることで、会話品質の継続的な最適化が期待できます。
第1弾は9項目評価システムをAQUOS AIへ応用 効果を数値で確認
第1弾として、会話の好ましさに影響する9項目を評価するシステムを完成させました。これを本年5月に発表されたテレビAQUOS向け新サービスのAQUOS AIの開発に応用しています。評価基準に基づいて自動評価とチューニングを繰り返した結果、応答内容の評価値が向上したことを確認しています。評価軸が明確になったことで、どの側面を改善すべきかの判断が容易になり、短いサイクルでの品質改善が進みました。今回の適用はコンシューマー製品領域における有効性を示す事例となり、評価手法の拡張可能性も示唆します。今後の展開により、他の製品やサービスへの横展開が見込まれます。
学会で評価基準の詳細を発表予定 自動評価領域を拡大へ
評価基準の詳細は、2026年度 人工知能学会全国大会での発表が予定されています。会期は6月8日から12日で、会場は群馬県高崎市のGメッセ群馬です。学術コミュニティへの発表により、基準や手法の透明性が高まり、客観的な妥当性の検証が進むことが期待されます。シャープは今後も自動評価の領域を広げるシステム開発を継続し、会話を楽しむ体験を核にしたAI会話機能搭載製品やサービスの拡大を目指すとしています。評価から改善までを一体化する体制を強化することで、好ましい応答の精度向上を持続的に図る方針です。製品やサービスの利用シーンにおいて、心地よい対話が愛着の醸成につながるという考え方が、今後の開発の軸となります。将来的な発表や提供範囲の拡大に関する続報にも注目が集まります。
詳しくは「シャープ」の公式ページまで。レポート／DXマガジン編集部
