MENU

ニュース

AI導入後「ちゃんと役に立っているか」を数字で確かめる!Copilot Studioで会話の途中離脱と有人対応への引継ぎ率を見る方法

  • URLをコピーしました!

AIを導入しても、利用回数だけでは業務の詰まりは見えません。Copilot Studioの監視画面で、確認できるデータと含まれないテストを整理します。

本番の会話とテストの実行を混ぜて評価しない

AIエージェントを導入した後、利用者が増えたことと、必要な仕事を終えられたことは別に確認します。マイクロソフトの11月17日更新ガイドは、Copilot Studioの「Monitor」で主要指標や利用分析を見て、改善点を探す方法を説明しています。対象のエージェントを開き、上部メニューからMonitorを選びます。ただし、この記事の説明は標準の実行基盤で動くエージェントなどが対象です。開発時のテストパネルで行った操作の分析は、この監視画面には表示されません。

会話型エージェントの利用者指標では、集計期間中に1回以上やり取りした固有の利用者を数えます。日次や月次の区切りは協定世界時のUTCで、利用者指標を使うには認証を要求する設定が必要です。また、会話の中のトピックを分析する画面では、担当者への引き継ぎ、解決、離脱といった結果や、満足度の推移を確認できます。引き継ぎや離脱が多いトピックは改善の候補になります。生成オーケストレーションを使う場合は、トピックの監視ではなくMonitorの会話結果やテーマを確認します。

記録の期間にも違いがあります。Monitorのデータは最大360日、セッションの詳細や会話記録は直近28日が対象です。会話記録はセッション終了後に最大1時間、一般的な指標は最大2時間かけて反映される場合があります。自律エージェントのイベント分析では、トリガーが失敗して処理の情報を受け取れなければセッションは始まらず、正常に起動した実行だけが集計されます。数字を見る際は、この対象範囲も押さえます。人員削減や投資回収を保証する数字と受け取らず、実運用でどの会話や処理に改善が必要かを調べるためのガイドです。

詳しくは「Microsoft Corporation」の公式ページまで。

レポート/DXマガジン編集部

シェアはこちらから
  • URLをコピーしました!
  • 週刊SUZUKI
  • イノベーション大賞
  • DSW

お問い合わせ

取材のご依頼やサイトに関するお問い合わせはこちらから。

問い合わせる