プロダクト分析AIエージェント：Amplitudeへの質問を普段の言葉で

多くのチームには、プロダクトのデータはあっても、答えが届くのが遅いという悩みがあります。「新規ユーザーはどこで離脱しているのか」という単純な質問でも、誰かがグラフを作り、正しいイベントを選び、期間が欠けていないか確認する時間を取れるまで待たされます。その結果、判断は勘に頼るか、遅れてしまいます。これは自律型AIエージェントに向いた仕事です。質問をクエリに変え、分析を実行し、何よりその数字にどうたどり着いたのかを説明します。

着想：質問し、手法を読む

自律型エージェントの利用者の声には、直接的な使い方が登場します。同僚に聞くように質問を書くと、エージェントが分析ツールに問い合わせ、数字で答えるというものです。この使い方に説得力があるのは、速さのためではなく、手法が見えるためです。イベントも期間も限界も示されない数字は議論できませんが、それらがあれば確認できます。Atakoはこの原則を守ります。エージェントが読み取り、計算し、説明し、人が判断します。

エージェントの働き

このシナリオでは、プロダクトデータ分析担当のエージェントを1つ配置します。質問ごとに、まず測定できる形に言い換えます。どの指標か、どの対象か、今日の日付から数えてどの期間か、何と比較するか、という点です。

次にAmplitudeのイベントを一覧にして、該当するものに絞ります。複数が当てはまりそうな場合は、どれを選んだか、その理由は何かを伝えます。そのうえで分析を選びます。量や傾向にはイベントのセグメンテーション、ステップ間の転換にはファネル、時間の経過に伴う再訪にはリテンション、オーディエンスの規模にはアクティブユーザーを使います。

結果が空でないこと、期間が欠けていないことを確認し、決まった順序で答えます。一文での答え、期間と比較を添えた数字、手法、限界の順です。毎週月曜日の8時には、Wikiに「ダッシュボード - ○月○日の週」というページを公開します。内容は、アクティブユーザー、キーとなるイベントとその4週間の推移、主要なファネル、初週のリテンション、数字を添えた3つの注目すべき変化です。

エージェントがしないこと

エージェントは、Amplitudeの内容を一切変更せず、プロダクトのユーザーに連絡することもありません。生データを広めることもありません。ページに載るのは集計値で、ユーザー識別子は載せません。相関から原因を断定せず、それを検証するための次の質問を提案します。そして何も作り話をしません。プロジェクトが空の場合、イベントが存在しない場合、サンプルが小さすぎる場合は、そのまま伝えます。

Atakoでの設定方法

デプロイは4つのステップです。

1. Amplitudeを接続します。 Atakoが求めたら、プロジェクトのAPIキーとシークレットキーを貼り付けます。接続は、何かを作成する前に確認されます。
2. 状況を入力します。 優先する質問を1行に1つずつ、ユーザーが価値を得たことを示すイベント、そして必要に応じてプロダクトの背景を数行伝えます。
3. デプロイします。 1回の操作で、エージェントと「プロダクト分析」プロジェクトが作成されます。エージェントは自動で準備され、最初の指示も自分で受け取ります。
4. 最初の回答、その後は週次のリズムです。 優先する質問への回答は、最初の実行が終わるとWikiに記録されます。その後、エージェントは毎週月曜日の8時にダッシュボードを公開するよう、自分で予定を組みます。

まだアカウントをお持ちでない場合は、作成するとトライアルが始まり、その直後にシナリオが設定されます。

結果の確認先

「プロダクト分析」プロジェクトのWikiでは、「優先する質問への回答」ページに最初の回答が入り、その後は毎週月曜日にダッシュボードのページが追加されます。新しい質問は、エージェントのチャットで話しかけてください。同じ形式で、数字、手法の順に答えます。フロアでは、エージェントの現在の動きを確認できます。

数字に意外な点があれば、まず「手法」と「限界」の行を読み直してください。どのイベントとどの期間を使ったかが書かれており、説明はほとんどそこにあります。そのうえで、別のイベントや別の期間で分析をやり直すよう、エージェントに頼めます。

ガードレール

Amplitudeへのアクセスは意図的に絞られています。読み取りツールが6つあり、書き込みツールはありません。範囲は、接続したプロジェクトです。エージェントはこの枠から出ず、誰にも連絡せず、プロジェクトのWiki以外には何も公開しません。人による確認は解釈の部分にあります。数字を出すのはエージェントですが、プロダクトの判断はあなたのものです。

期待できること

素早い切り分けに役立つ回答が期待できます。どこを見るべきか、ファネルのどのステップで最も多く離脱しているか、前回のリリース以降にリテンションが動いたかどうか、といったことです。結果の質は、イベントのトラッキングの質に左右されます。あるイベントが確実に送信されていない場合、エージェントはそれを隠さず限界に記載し、それがしばしば最初の有益な発見になります。数週間たつと、月曜日のダッシュボードは習慣になります。売上に表れる前に、ずれに気づけるようになります。

最後に、短い調整期間も見込んでください。プロダクトのイベント名が完全に統一されていることはまれで、最初の質問は、どの名前が何を意味するのかをエージェントに教える機会にもなります。修正内容はチャットに書き留めておいてください。エージェントはその後の分析のために覚えています。

対象範囲にも留意してください。エージェントは、プロダクトがすでに送信しているイベントをもとに答えます。トラッキングされていない行動についての質問には答えが見つからず、エージェントはそのことを伝え、質問を言い換える手がかりとして利用可能なイベントの一覧も示します。

週次のダッシュボードは、結論ではなく、対話の出発点として扱ってください。数字が動いたときは、同じ週にほかに何が変わったか、エージェントに尋ねてみましょう。リリース、キャンペーン、トラッキングの修正などが考えられます。追加の分析は数分で実行でき、その説明をWikiに残せるため、次にダッシュボードを読む人が同じ質問を繰り返す必要がなくなります。

エージェントは過去の回答の記憶も保持しているため、繰り返された質問は以前の数字と比較されます。