パナソニック ホールディングス株式会社とパナソニックR&Dカンパニーオブアメリカは、カリフォルニア大学ロサンゼルス校の研究者と共同で、モバイル端末の業務操作を先読みして支援する世界モデルを開発しました。従来の画面画像の再現に依存せず、操作に伴う重要な状態変化を自然言語で予測する点が特長です。世界モデルの学習用データセットMobileWorldと、評価用ベンチマークMobileWorldBenchも構築しました。MobileWorldはAndroid端末の実操作に基づき、画面変化の説明約94.2万件と質問・回答約54.3万件を収録しています。視覚言語モデルで生成したデータを自動選別し、一部を人手で検証しています。研究成果はEMNLP 2026で発表される予定です。
開発した世界モデルは、ボタン操作で設定画面が開く、入力欄が表示されるといった変化を文章で予測し、時刻や通知など本質でない情報の影響を受けにくくします。MobileWorldで追加学習したQwen3-VL-8B-InstructをMobileWorldBenchで評価したところ、正確さ、完全さ、関連性の観点で既存手法を上回るスコアを示しました。さらに、AndroidWorldでの評価では、世界モデルを組み込まない場合のタスク成功率46.9％に対し、組み込み時は54.3％へと向上しました。設備管理、部品在庫、作業記録など複数アプリを横断する業務への適用が想定され、現場の負担軽減が期待されます。今後はスマートフォンに加え、WebサイトやPCアプリケーションへの展開可能性も検証し、社内の広範な業務支援に向けた研究開発を継続します。
詳しくは「パナソニック ホールディングス株式会社」の公式ページまで。レポート／DXマガジン編集部
