はじめまして。stable株式会社 代表の宮﨑一輝（@ikki_mz）です。
stable株式会社は、データエンジニアリングを専門領域として、企業のデータ活用・データマネジメントに関するあらゆるご支援をしています。
今回は「#も読」の第5回の投稿です。
今回取り上げるのは、株式会社JDSCのnoteに掲載された「データアナリストはデータやビジネスロジックを整備してAIを駆動する役割へ。これからのAI・データとの付き合い方」という記事です。現役のデータアナリスト2名による対談形式で、AI時代にデータアナリストという仕事がどうなっていくのかが語られています。
世の中には「AIでも分析できるからもう十分だ」という人が一定数いる一方で、「いや、まだまだ分析はAIに任せられない」という人もいます。この両者はなぜ同時に存在するのでしょうか。今回はこの問いを軸に、記事の紹介と、私なりの解釈を含めて思ったことを書いていきたいと思います。
記事の紹介
まず記事の内容を簡単に紹介します。要点は大きく3つあると理解しています。
1つ目は、簡単な集計や可視化はどんどんAIに置き換えられていくという話です。きれいに整備されたデータをAIに与えれば、もう良い示唆を出してくれるようになっており、著者のお二人自身もAIを活用して生産性を上げているとのことでした。
2つ目は、その裏返しです。汚いデータを渡すと、AIは間違った解釈をして間違った集計結果を出してしまう。しかも、その間違いをさも正しいかのように出してしまうという点です。記事の中には、複数データのヘッダーを読み込ませてSQLをつくらせたところ、たまたま名前が同じだったカラムを根拠に誤ったJOINをしてしまい、全く的外れな分析結果が出てきたというエピソードが登場します。AIは知らないことを「知らない」と言わずに、期待されていそうな答えを予測して返してしまう、という指摘は多くの方に心当たりがあるのではないでしょうか。
そして3つ目は、だからこそAIに100%任せられる段階にはまだ来ていない、という話です。記事では氷山の図を使って、これが整理されています。水面の上に見えている可視化やシンプルな集計は、AIに代替可能な領域です。一方の水面下には、戦略に合わせたゴール設計や指標の設定、分析設計といった上流の仕事から、データの収集・整備、データマート設計まで、現時点でAIに代替できない仕事が広がっています。その上で、データアナリストの役割は「グラフを作る人」から「AIを駆動するためにデータとロジックを整える人」へ変わっていく、と主張されていました。
詳しくはぜひ元記事を読んでいただきたいのですが、私自身、元データアナリストで現在はデータエンジニアというキャリアを歩んできたこともあり、自分が昔考えていたことや、今AI時代に考えているキャリア観とも重なる部分が多く、実体験ベースで語られる内容に非常に共感しました。
ここからは、この記事の主張を私なりに再解釈しながら考えていきます。
「分析」には5つのレベルがある
「分析はAIに任せられるようになったのか？」という問いについて少し考えてみましょう。
鍵になるのは、一口に「分析」と言っても、そこにはレベルがあるということです。分析をざっくり5段階で捉えてみます。
レベル1は、集計済みの指標を見ることです。売上ダッシュボードやKPIダッシュボードを毎日見て、上がった下がったを確認し、その理由を考える。レベル1だからダメということでは全くなく、これすらできていない組織も多いので、KPIを見ているだけでも十分データドリブンだと個人的には思います。
レベル2は、シングルテーブルの簡単な集計です。日別・月別の売上や、月別×商品別のようなクロス集計がここに入ります。SQLで言えばGROUP BY、スプレッドシートで言えばピボットテーブルで行うような集計です。
レベル3は、複数テーブルを組み合わせるJOINです。売上テーブルには商品IDしか入っておらず、商品名で集計するには商品マスターをJOINする必要がある、というようなケースです。ここから考慮することが増えます。例えば商品マスターの運用が不正確で同じIDのレコードが3件入っていると、JOINした瞬間に売上が3倍にカウントされる、といった集計ミスが起きやすくなります。このレベル1〜3までが、いわゆる「集計」の世界です。
レベル4は、仮説に基づく検証です。ここからは集計とは一段次元の違う話となります。いわゆる「分析」と呼ばれるのは、このレベルあたりからではないでしょうか。
例えば「この機能を入れればログイン率が高まるはずだ」という仮説を検証したいとしましょう。このとき、機能を使った人と使っていない人のログイン率を単純比較して「使っている人の方が高いです」と言ってしまうのは、よくある失敗です。新しい機能を試す人はそもそもプロダクトへの熱量が高く、機能と関係なくログイン率が高かった可能性があるからです。これはバイアスであり、当たり前のことを言っているに過ぎない分析結果になってしまいます。
だからこそ、ユーザーにランダムに機能を出し分けて条件を揃えるABテストのような実験を設計・提案できることが、このレベルでは求められます。
レベル5は、仮説を立てる段階から入り込むことです。お題が降ってくる前に、プロダクトの課題を深く理解し、ユーザーにインタビューし、インサイトを見つけて「こういう機能を出せばユーザー数が増えるのではないか」という仮説を立案し、その検証方法まで設計してプロダクトにフィードバックしていく。ここまで関われると、データアナリストとしてはほぼ最高地点と言っていいのではないかと思っています。むしろ、データアナリストとしての職務領域を超えて、プロダクトマネージャーと呼ばれる職種に半分ほど体を突っ込んでいる、職域を超えた活躍と言えるかもしれません。
AIはどこまで登ってこられるか
では、この5段階のうち、AIはどこまでを代替できるのでしょうか。
レベル1と2は、100%代替できると思っています。集計済みのKPIを読み解くことも、GROUP BYで集計することも、できない理由が見当たりません。
レベル3は90%くらい代替できると思っています。JOIN自体はもちろんできますし、先ほどの「JOINしたら重複してしまった」というようなことも、AI側で確認して判断してくれます。残りの10%は何かというと、「そもそもどのテーブルをJOINすればいいか分からない」という問題です。AIはテーブル名などから推測してテーブルを探しますが、マスターテーブルが適切に用意されていなければ困ってしまいます。ここで先ほどの元記事のエピソードとつながります。あの「誤ったJOIN」の失敗は、まさにデータが整備されていない状態で起きる話です。
レベル4になると、肌感で40〜60%くらいでしょうか。正直、使うモデルやデータのきれいさ、コンテキストの渡し方によって大きく変わるので、幅を持たせた体感値です。仮説検証の肝はバイアスをどう取り除くかですが、その取り除き方はコンテキストによって異なり、新機能がどういう画面でどう使われるのかといった細部を理解しているほど良い分析ができます。そのため、仮説検証をAIに丸投げするのは難しい側面もあると感じています。
一方で、AIで代替できる部分も半分くらいはあると思っています。たたき台づくりやアイデア出しには十分活躍してくれますし、場合によっては「AIが出してきた設計でもう十分」というケースも実際にはあるだろうと思います。
レベル5は、これも肌感ですが20%程度だと思っています。試しに「このプロダクトの課題を出してください」とAIに聞いてみても、10個のうち1個当たっていればいい方ではないでしょうか。ユーザーの生の声や社内の文脈といった、良い仮説の材料になる情報がAIのコンテキストに載っていないからです。
ここまで整理すると、冒頭の問いに答えられます。「AIで分析はもうできる」派はレベル1〜3を、「まだ任せられない」派はレベル4〜5を、それぞれ「分析」と呼んでいるという構図が見えてきます。同じ言葉で違うものを指しているだけで、階層を整理すれば、両者は別に矛盾したことを言っていないのです。
では、この整理を踏まえて、データアナリストはこれからどう振る舞えばいいのでしょうか。AIが下の階層からどんどん登ってくるのだとすれば、人間が価値を発揮すべき場所は必然的にレベル4〜5に寄っていきます。バイアスを見抜いてABテストのような実験を設計・提案できるようになる、さらには仮説を立てる段階からプロダクトに深く入り込んでいく。キャリアとしては、こうしたプロダクト開発寄りの領域でバリューを発揮しにいくのが、有力な方向性ではないかと思っています。
もう1つの価値発揮場所、「整える仕事」
ここまではデータアナリスト自身の振る舞いの話でしたが、もう1つ、別の方向の話もあります。それが、元記事で主張されていた「AIを駆動するためにデータとロジックを整える人」、つまりデータ整備の話です。
思い返すと、レベル3の残り10%は、どこに何のデータがあるか分かるようにするテーブルの整理整頓や、メタデータの充実といったデータ整備の話でした。レベル4でより良い仮説検証をするには、プロジェクト固有のコンテキストをいかにAIに渡すかが鍵でした。AIがどこまで代替できるかがデータ基盤の整備状況に左右されるのだとすれば、その整備そのものが価値になります。
さらに言えば、過去の分析を記録して蓄積したり、「このクエリはこういう時に使える」というゴールデンクエリを貯めていったりする、分析のナレッジマネジメントのような取り組みをすれば、AIはどんどん賢くなっていきます。従来のデータマネジメントの枠を超えた、コンテキストマネジメントとでも呼ぶべき領域が、今後の価値発揮の場所としてかなりホットなのではないかと思っています。
このコンテキストマネジメントの話は、掘り下げると長くなってしまうので、また別の機会に書きたいと思います。弊社は主にデータ基盤整備を専門とした会社であり、Xではよくこの辺りの話をしているので、気になる方はそちらもご覧ください。
おわりに
今回は、JDSCの記事を題材に、「分析はAIに代替されるのか」という問いを考えてきました。
大事なのは、「分析」という概念を一枚岩で語らないことだと思います。階層に分けて見れば、AIに任せられる部分と人間に残る部分はかなりクリアになります。AIは下の階層からどんどん登ってきますが、上の階層の仕事と、AIが登りやすいように「整える仕事」の価値はまだ残っていると感じています。
それでは最後までお読みいただきありがとうございました。データエンジニアリングやコンテキストマネジメントに関する情報は、X（@ikki_mz）でも発信していますので、よろしければフォローしていただけると嬉しいです。
