分析(埋め込み別メトリクス)
埋め込み別分析で、何が効いているかと改善点が分かる
各AIアシスタントの成果を把握:エンゲージメントとコンテインメントから、引用の品質や未回答まで。
エンゲージメントと解決
- インプレッション -> オープン -> チャット -> メッセージ
- セッションのコンテインメント vs フォローアップ意図
- リード用プロンプトの成果と離脱
- 初回回答までの時間
リトリーバルと品質シグナル
- フォールバック理由コード(低関連度、タイムアウト、プロバイダエラー)
- 未回答の質問とフォローアップ意図
- 被引用ドキュメント上位と陳腐化アラート
- ハルシネーション検知のための精度サンプリング
運用インサイト
埋め込み単位の分離により、プロダクトチームや代理店はサイト/ブランド/クライアント間で成果を比較できます。生イベントをエクスポートして、詳細分析やアトリビューション、QAに活用できます。
すべての指標は追跡可能です。各集計は生イベント(リトリーバル/生成のスパン)に紐づき、監査・回帰・調査を支援します。
これはトラフィックではなく信頼をデバッグするための分析です。