ログを自動分析し改善箇所を提案する「AIアナリスト」を使って、話を伺ってみた

2015年4月20日にリリースされた、株式会社WACULが提供している分析サービス「AIアナリスト」を利用しました。前半はツールの紹介、そして後半は開発元である株式会社WACULの担当者の方に伺った内容を中心に紹介させていただきます。ツール作成の経緯や、どのような分析が行われているのか、今後の展望などを伺ってまいりました。

 

wacul-ai.com

 

長文ですので、お時間がある時に読んでいただければ!

 

 

 

 

AIアナリストの設定方法

アカウントを作成後、新規サイトの登録を行います。現在はGoogle アナリティクスを分析対象のデータとして連携することができます。

  

f:id:ryuka01:20150518182135j:plain

大きな画像:http://f.st-hatena.com/images/fotolife/r/ryuka01/20150518/20150518182135_original.jpg?1431940907

 

Google アナリティクスと連携した後に、PCサイト・スマホサイトをそれぞれ1つずつ登録します(PCとスマートフォンでビューを分けている場合は、別々のビューを登録してください)

 

f:id:ryuka01:20150518220215j:plain

大きな画像:

http://f.st-hatena.com/images/fotolife/r/ryuka01/20150518/20150518220215_original.jpg?1431954152

 

これで最初の登録作業は完了です。次に管理画面が表示されますので、「+課題レポート作成」を選択します。

 

f:id:ryuka01:20150518220409j:plain

大きな画像

http://f.st-hatena.com/images/fotolife/r/ryuka01/20150518/20150518220409_original.jpg?1431954275

 

初回時のみクレジットカード情報の入力が求められます。無料お試し期間後、レポートを作成した場合のみお金がかかります(過去に作ったレポートは閲覧可能 + レポートを作成しなければ料金は発生しません)。

 

なお金額ですが、料金体系はシンプルで月額3万円(税抜き)となります。

 

 

「+課題レポート作成」を押すと、作成画面が表示されます。この画面がレポートを作成する上で非常に大切な画面になります。

 

f:id:ryuka01:20150518221454j:plain

 大きな画像

http://f.st-hatena.com/images/fotolife/r/ryuka01/20150518/20150518221454_original.jpg

 

まずはわかりやすい設定項目から説明していきます。

 

課題レポート名:作成するレポートの名称です。サイト名・対象デバイス・作成日時などを入れておくとよいでしょう

 

対象サイト:PCあるいはスマホサイトを選択することができます

 

分析対象期間:主な入口ページの訪問数が2,000流入以上ある場合は1ヶ月推奨とのことです。1ヶ月の流入が2,000未満の場合は、期間を長くしましょう。現在のページに対して分析を行なうため、あまりに期間を長すると、過去のページレイアウトやデザインなどに影響を受けてしまいます。特にリニューアルなどを行った場合は、リニューアル後の期間で分析を行いましょう。

  

それ以外の4つの「分析設定」に関してはもう少し説明が必要となりますので、1つずつ詳しく見ていきましょう。

 

CV設定

名前の通り、コンバージョンを設定する画面です。

f:id:ryuka01:20150518225350j:plain

大きな画像

http://f.st-hatena.com/images/fotolife/r/ryuka01/20150518/20150518225350_original.jpg?1431957683

 

Googleアナリティクスで登録してある目標を選べるのはもちろんのこと、URL指定も可能です。また、目標を設定する時に「業界」と「サイトタイプ」を選ぶ必要があります。サイトの種類に応じて提案内容を最適化しているようです(お話を伺った時はまだそれほど影響はなく、今後の利用者が増えていく中で最適化を図るようです)。

 

f:id:ryuka01:20150518225954j:plain

大きな画像

http://f.st-hatena.com/images/fotolife/r/ryuka01/20150518/20150518225954_original.jpg?1431957701

 

また、目標設定時に「フォーム入口ページ」を設定する箇所があります。コンバージョンを達成するにあたり、必ず通るフォームなどがある場合は、その入口のURLを指定しておきましょう。

 

領域設定

対象とするデータを絞り込む事が出来ます。Google アナリティクスのアドバンスセグメントを利用して絞り込むがことができ、システムで用意されているセグメントと、作成したカスタムセグメントを利用することが可能です。また、複数の条件を設定することも可能です。

 

f:id:ryuka01:20150518230417j:plain

大きな画像

http://f.st-hatena.com/images/fotolife/r/ryuka01/20150518/20150518230417_original.jpg?1431957876

 

ページグループ設定

施策に活かせる結果を出すためには、この設定が最も重要かもしれません。AIアナリストはデフォルトでは、ページ単位での集計・分析を行い、提案内容もページ単位となります。ECサイトでは商品カテゴリや商品ごとにURLが分かれており、分析または提案内容もページ単位では細かいことが多いです。

 

そこで、ページをグルーピングしておくことによって「商品一覧」や「商品詳細」という形で複数ページをまとめ、あたかもひとつのページ用に集計・分析ができます。グルーピングには似たようなコンテンツをグルーピングする「仲間ページグループ」とURLパラメータなどを除外して同一ページとして計測する「同一ページグループ」があります。

 

f:id:ryuka01:20150518231006j:plain

大きな画像

http://f.st-hatena.com/images/fotolife/r/ryuka01/20150518/20150518230417_original.jpg?1431958245

 

公式ヘルプでも以下の記載があります。

仲間ページグループ

仲間ページグループの設定が推奨される場面は以下。

  • 比較したいページ群がある場合

    例)商品Aのページ群 VS 商品Bのページ群、メインサイト VS LP群 など

  • カテゴリは異なるが、同じ役割を持つページが複数ある場合

    例)商品Aの価格ページと商品Bの価格ページ など

  • 個々のページとしてよりも、ひと塊のページとしての役割が大きい場合

    例)求人サイトにおける求人詳細ページ群、会社概要ページ群 など

同一ページグループ

同一ページグループの設定が推奨される場面は以下。

  • URLは異なるが、アクセスして表示されるページが同じ場合

    例)「/ai-analyst/」と「/ai-analyst/?ad=002」、「top.html」と「top_a.html」

AIアナリスト ご利用ガイドより

 

検索ワードグループ

検索ワードをグルーピングしてまとめることが可能です。指名検索やブランド検索、特定のカテゴリなどをグルーピングしておくことを推奨します。特にロングテールキーワードが多いサイトですと、キーワードを1つずつ見にいってしまうため、件数が少ないキーワードに関しては提案が出にくくなってしまいます。

 

いくつかキーワードをグルーピングしてそれを設定しておきましょう。

 

f:id:ryuka01:20150518232301j:plain

大きい画像

http://f.st-hatena.com/images/fotolife/r/ryuka01/20150518/20150518232301_original.jpg?1431959030

 

設定が完了したら、後は「この内容で作成」を押すとレポート作成が開始します。作成中は「分析中」の画面が出ており、完了するとメールで完了のお知らせがやってきます。

f:id:ryuka01:20150518232602j:plain

大きな画像:

http://f.st-hatena.com/images/fotolife/r/ryuka01/20150518/20150518232602_original.jpg?1431959176

 

作成時間に関しては、上記の画像内にも書いてある通りサイト規模によって変わってきます。またその時のタイミングや他のサイトの分析状況によっても変わりそうです。月間100万PVくらいのサイトを使ってみたところ、早い時で10分、最大で3時間ほどかかりました。一度作ってみて、感覚を掴んでみると良いと思います。

 

 

レポート作成のこつ

4つの設定をヘルプなども参考にして、一つずつ設定していく事が、良い提案を出す上で非常に大切と担当者の方も仰っていました。私もこれには同意で、それぞれの設定には意味があり、良い提案を出すために1回目は大変ですが、仮説や分析箇所を立ててから設定を行いましょう。

 

集計・分析は自動でしてくれるツールですが、そのインプットは人間が設定する必要があり、その精度が最終的な提案の質の高さに繋がります。この辺は実際に設定を行い、作成をし、その結果を見ていく中でチューニングが必要かもしれません。

 

幸い、1つのサイトであれば、何回レポートを作成しても月額3万円(税抜き)ですので、いろいろチャレンジしてみるとよいでしょう。

 

 

作成されるレポート

レポートが作成されると、その結果を確認することが出来ます。

 

f:id:ryuka01:20150519111009j:plain

大きい画像:

http://f.st-hatena.com/images/fotolife/r/ryuka01/20150519/20150519111009_original.jpg?1432001416

 

f:id:ryuka01:20150519112658j:plain

大きな画像:

http://f.st-hatena.com/images/fotolife/r/ryuka01/20150519/20150519112658_original.jpg?1432002423

f:id:ryuka01:20150519114030j:plain

 大きな画像:

http://f.st-hatena.com/images/fotolife/r/ryuka01/20150519/20150519114030_original.jpg?1432003235

 

 

課題は一覧形式で表示されます。項目としては

「課題番号」「課題内容」「CV期待値」「訪問数」「CV」「操作」となります。

 

「CV期待値」は改善提案を実施し、提案の結果の通りになった場合に増えるであろうCV数になります(CV数の期間は集計期間になります)。「訪問数」「CV」は集計期間での数値を表しています。

 

「操作」では「解決したい」ボタンを押すと、「解決したい」リスト(後述)に追加することができます。また「報告不要」ボタンを押すと、該当ページが(今後のレポート作成時も)改善提案の中に出てこないようになりますので、現実的に改善が難しいページはこの機能を使って除外しておきましょう。

 

 

それでは、実際に課題内容をクリックした後の画面を確認してみましょう

 

■入口ページの改善の場合

f:id:ryuka01:20150519111204j:plain

大きい画像:

http://f.st-hatena.com/images/fotolife/r/ryuka01/20150519/20150519111204_original.jpg?1432001565

 

■もっとページを見せる場合

 f:id:ryuka01:20150519111430j:plain

大きい画像:

http://f.st-hatena.com/images/fotolife/r/ryuka01/20150519/20150519111430_original.jpg?1432001678

 

このような形で現在の数値を他のセグメントやサイト全体と比較し、導線を変更すればどれくらいCV期間は数が上がるかが算出されています。文章内にもありますが、計算式としては

 

(訪問数×新しいCVR ー 現在のCV数)

 

という計算が行われてています。先程のページグルーピングが大切と書いたのは、まさにこういった形で改善が提案されるので、改善出来る粒度に設定しておく必要があります。

 

数値だけではなく、改善の基本方針に関しても紹介してくれます。

 

f:id:ryuka01:20150518234350j:plain

大きな画像:

http://f.st-hatena.com/images/fotolife/r/ryuka01/20150518/20150518234350_original.jpg?1431960300

 

このように何を見れば良いかを表示してくれます。また参考情報の部分にある「+」を押すと、バブルチャートや表を見ることができ、他のページなどとの比較が容易になっています。このレポートは非常に分かりやすいので、ぜひ積極的に利用することをオススメします。

 

f:id:ryuka01:20150518234451j:plain

大きな画像:

http://f.st-hatena.com/images/fotolife/r/ryuka01/20150518/20150518234451_original.jpg?1431960328

 

f:id:ryuka01:20150519111626j:plain

 大きな画像:

http://f.st-hatena.com/images/fotolife/r/ryuka01/20150519/20150519111626_original.jpg?1432001798

 

 

解決したいリスト

「解決したいリスト」には、操作で「解決したい」に入れた改善提案を一覧で確認することができます。レポートをまたいで確認することが可能です。改善が完了したら、クリックしてリストから外しておきましょう。

 

f:id:ryuka01:20150518235032j:plain

大きな画像:

http://f.st-hatena.com/images/fotolife/r/ryuka01/20150518/20150518235032_original.jpg?1431960686

 

 

ツールを利用してみた感想

まず理解しないといけないのは「全てを全自動で集計・分析」してくれるツールではないということです。最初に目標だけ設定して、レポートを作成したところ、出来てきた提案は細かすぎて使いづらず、インパクトも小さいものばかりでした。ここは期待値が高すぎたというのもあるかと思います。

 

しかしヘルプなどを確認し(ヘルプは分かりやすく、非常に充実しています)、各種設定の重要さを理解すると、出てくる提案の内容も分かりやすく、出来そうだと思えるものになります

 

結果に関してはCV期待値に並んでいるため、まずどこから手をつければ良いかが一目瞭然です。ただ、ページ内容そのものを読み取ってくれるわけではないので、対象ページを実際に確認し、提案内容通りの改善を行っても問題ないか(不自然な導線にならないか など)を判断しましょう。

 

同じようなレポートを作成しようとすると確かに時間がかかるため、短時間で課題抽出をしてくれるのはコンサルティングをしている会社さんや、分析に時間がかけられない担当者にとっては便利ではないでしょうか

 

ツール自体はまだ現在スタート地点で更なる進化を遂げていくという事で、ここから後半の担当者に伺った内容を紹介したいと思います。

 

 

伺った話

f:id:ryuka01:20150519101919j:plain

www.facebook.com

 

というわけで、実際に開発元である株式会社WACULに話を伺ってきました。以下、伺った主な内容と回答になります。

 

ツール開発の経緯

株式会社WACULは成果型のWeb改善コンサルティングを行っており、その提案のためにコンサルタントが分析していた内容を、社内ツールとして開発したのがはじまり。これは他の人でも使えるのでは?と言うことでブラッシュアップしてサービスにした。課題を素早く発見することで、改善施策の検討と実施に時間を使ってほしい。

wacul.co.jp

 

どのような分析を行っているか

流入元×入口ページで訪れた人のニーズは特定出来ると考えており、流入元×入口ページ×経由ページの組み合わせを集計・分析して、改善効果が大きい場所を特定している。セッションが少ないページ(サイト全体の1%以下)は足切りをしている(コンバージョンなどで設定したものは除く)。改善効果が大きい場所は、現在の数値と導線やレイアウトを提案状態に持って行くことが出来た時の差分で見て、差分が大きい順番で並べている。

 

どういう設定を行なうと良い提案がでてくるか

まずコンバージョン数に関しては100件が設定目安となりますので、分析しようとしているコンバージョンが100件以上になるように期間を設定してください。また、サイトの特定箇所の改善ポイントを発見したい場合は、設定で先に絞る、あるいはページをグルーピングするとそこにフォーカスした提案内容が出やすいです。

 

例えば、

「TOPページへの流入」×「ブランドワード」

「一覧ページへの流入」×「商品カテゴリ」

といった組み合わせなどを行なう。また、一覧や詳細ページのようにURLが複数あるが機能として同じページの場合は、ページグループ機能を使ってまとめましょう。そうすると、ページグループに対しての提案が出てくるようになります。

 

提案に関しては、特に絞るという事はしていないため、1つのページ(あるいはページ群)に対して複数の提案が出てくることもあります。提案内容を確認していただき、実現の可能性が高い提案内容を選んでいただければと思います。

 

設定が上手くいかなかったり、分析結果が出なかったりする場合は、ぜひオンラインチャットを活用してください!一緒に設定のお手伝いをいたします。

 

f:id:ryuka01:20150519221844p:plain

 

また、成果コミット型のコンサルティングサービスも引き続き行っておりますので、興味がある方は、ぜひご連絡いただければ幸いです。

 

得られた提案を元にどのような改善を行っているのか

一例として、以下の様な課題⇒改善例がございます。

・中古品売却サイトにおいて、売価シミュレーションを見たユーザーはCVRが減少する事がわかった。そこで課題となったページヘの導線を削除することでCVRを改善。

 

・特定広告経由のセッションがLPを訪問した際に、その流れでサイトトップを見るとCVRが大きく上がる傾向があった。そのため、LPのクリエイティブを変更することで、CVRを改善。

 

・特定ユーザーがサイト内のページを見れば見るほどCVRが下がることがわかった。そこで特定ユーザーにはあまり多くのページを見せ無い様に、フォームだけでコミュニケーションをする形に変更することで、CVRを改善。

 

今後、AIアナリストはどのように進化していくのか?

まずは入力元データとしてAdobe Analytics (旧SiteCatalyst)に関しては近いうちに対応予定です。

 

そして、6月3日には「営業回数分析」という機能をリリースします。こちらは、商品詳細ページなどをグルーピング化して「商品ページが見られた回数(=営業回数)」と定義し、見る回数を増やすための提案を行なうことが出来るようになります。商品ページ以外にも、求人ページ・物件ページ・動画閲覧・記事閲覧など様々な業態で利用することが可能です。

 

「解決したい」で入れた課題に関して、その後の推移や実際に課題解決したのかを追尾する機能も夏には入れていきたいなと考えております。

 

また、CV設定を行う際に「業界」「サイトタイプ」を選べますが、この部分は今後の肝になるかなと考えております。データがどんどん溜まることで、機械学習をして業界やサイトタイプ別の癖や課題を理解していけるようになります。今後は、分析するポイントや内容もサイトの種類によって大きく変えていければと考えております。

 

そして、もう少し先の話でチャレンジしたい内容としては、「コンテンツ内容の分析」ですね。コンテンツそのものを読み取って改善提案につなげるというのは1つ目指したいところいなります。

 

 

最後に読者へのメッセージなどあればいただけますでしょうか?

今後もAIアナリストの機能を更に充実させることで、多くの方がWebサイトの分析業務を適切に行えるように環境整備を進める予定です。実際にWebサイトを改善するアクションも簡易かつスピーディーにしていきたいと考えており、その方向でも着々とプロジェクトを進めています。ご期待ください。

  

最後に

AIアナリストを紹介させていただきました。解析ツールに関しては、今後いろいろな進化の方向性があると思います。その中で、一つの方向性としては「分析をいかに減らすことが出来るか」という流れがあるかと思います。

 

アクセス解析ツールを始め、多くの解析ツールは表やグラフを見て、セグメントを作成し、自分で数値を判断する必要があります。この作業は時間もかかり、勘所も必要となります。そのため、データは取得しているが、それを活かせないというケースも多くのサイトで見受けられます。

 

AIアナリストは、この分析時間を減らすという方向に向かっているツールです。AIアナリストは現時点ではあくまでも「課題発見の作業時間を減らし、改善の方向性を提示する」ツールだという風に筆者は考えており、これはまだスタート地点なのではないでしょうか。

 

これだけでも嬉しいのですが、「初期設定の自動化(ページグループも自ら作るのではなく、ディレクトリ単位では自動的に対応してくれる など)」「アクセス数が少ないサイトへの対応」「文章やレイアウトも読み取った上でのより具体的な提案」「ABテスト・ヒートマップ・SEOツールとの連携」などの更なる進化に期待しています。

 

そして究極的には、CMSと連携して自動で改善案の反映やテスト・評価・最適化が出来れば嬉しいなと思っております!今後の更なるバージョンアップに期待しております。

  

wacul-ai.com