Findy Engineer Lab

エンジニアの"ちょい先"を考えるメディア

統計学に魂が震えた体験をもとに、何を選択できるようにしてきたか? データ活用職のキャリアプランを考える

統計屋のあんちべ@antibayesianです。 さまざまな企業でデータ解析やコンサルを請け負ったり、データ活用部署の立ち上げをしたりしながら生活しています。 この記事では、データ活用系職種のキャリアプラン形成に悩んでいる方の参考になればと、私のこれまでのキャリアや、キャリアプランニングの考え方についてシェアしたいと思います。

というのも、データ活用系職種の中でも特に2010年くらいから注目を集めている1データサイエンティスト界隈のキャリアは、まだ職種として歴が浅いこともあって不透明な部分が多く、データサイエンティストなるものの解釈やポジションも多様なため、先行きに懸念を抱いている方も多いかと思います。

また、周辺環境も日進月歩の勢いで成長しています。例えば、全自動で簡単に売上予測や画像の分類などができるCloud AutoMLというサービスも提供されています。この手の仕組みはどんどん成長していくことが予想され、そういった未来において機械学習などのスキルを身に付けていることがどれほどの重要性を持つでしょうか。

価値観やスキルは人それぞれのためキャリアプランに正解はありませんが、そもそもどんなパターンのキャリアがあるかを知らなければ、プランニングは難しいと思われます。 私も若い頃、ロールモデルとなる方がいなかったため「他の人はどう考えているんだろう?」「自分は未経験だけど、データ活用のキャリアって、現役の人はどう歩んでいるのだろう?」「年を取ったらどうなるのだろう?」と不安に思っていました。

本稿が、そんな不安を抱えたデータ活用系職種の若手や、志願者の方に向けた一つのサンプルになればと願っています。

過去の選択を有効化してキャリアを進めよう

データサイエンティスト志望の方から「自分は機械学習や情報科学を専攻していなかったため、たいへん不利だと思う。なぜあのとき情報系に行かなかったのか……」という悩みをよく聞きます。私も、初めてデータ活用系職種に就いた際に、そう考えたことがありました。

しかし、今なら「そんなことは全くないですよ。むしろ自分の専門を活用することで他の人と差別化できます」ということをお伝えできると思います。 まず、私がどんな学生だったかからお話しします。

経済学部で統計学と「良いデータ」が存在することを学ぶ

私は経済学部で学びました2。 そこでレポートや卒論を書くため、実験で得られたデータを「さぁ分析するか」とやってみても、思ったような結果が全く出ませんでした。 いろいろ勉強して手法やツールをいくつか試しても、良い結果は得られません。

結局、データの統計学的な設計が悪かったため、そのデータは使い物にならないことが判明しました。 その経験から「どうやら良いデータという概念があって、その概念に沿って実験計画を立てたり設計したりしないと、後からデータをこねくり回してもうまくいかないぞ? 出来不出来の大半は設計段階、始まる前に決まってるんだ」ということが、おぼろげに分かってきました。

それが統計学というものだと知り、何が良いデータかの定義、良いデータを得るためのフレームワーク、仮に良いデータと適切な統計手法を組み合わせても言及できる範囲には限界があること、分析結果の解釈の仕方とその生かし方などを学びました。

これはデータ活用の仕事をする上で、たいへん役立つ武器になりました。 そして、そういったことを一つ一つ学ぶことは、私にとって魂が震える体験でした。

選択できなかったことにこだわらず、手に入れたスキルを磨いておく

私は学生時代、今のデータサイエンスの主流の知識であろう機械学習などは、いっさい学んでいません。あえて学ばないという選択をしたのではありません。 当時の経済学部のカリキュラムに機械学習は入っておらず、そもそも機械学習というものがあるということすら知りませんでした。

存在を知らなければ、選択することもできない。これは非常に重要です。 ある選択肢について、熟考の結果として選択しないことと、そもそもその選択肢を知らなかったというのでは、雲泥の差があります。

だからこそ、我々は学び続ける必要があるのでしょう。 過去の選択を変えることはできません。私にも「情報科学や機械学習を専攻していれば」と思うケースは少なからずあります。 しかし重要なことは、過去の選択を正当化ではなく、有効化していくことです。

その後、新卒で就職したのは古い金融系の企業で、配属もデータ活用職ではありませんでした。これも何か意思があって選択したものではありません。 当時は今よりデータ活用職のポジションが少なく、就活の時点でデータ活用職という選択肢はないと考えていたのです。

ただ、統計学は好きなので、転職のためというわけでもなく、単に趣味としてずっと勉強を続けていました。 そうこうしているうちにビッグデータブームが訪れ、にわかに一般企業でもデータ活用が盛り上がり、特にソーシャルゲーム企業などで採用活動が活発になりました。 データ解析で飯が食える時代が来ると思っていなかった私も、このブームを見て渡りに船と転職しました。

チャンスを掴めた成功要因の大半は、運がよかったこと。残りの要因は、その運を掴めるよう地道に勉強していたことでした。 選択肢は己の力だけで選べないときもあり、スキルを磨きながらグッと堪える時期が待っているかもしれません。

現状を把握できずスキルもないうちは、小さなことから始める

晴れて転職しましたが、配属先ではタスクが用意されておらず、何をやるか自分で一から決めるというスタートでした。 データ活用職といっても、結局やることは課題解決です。 課題とは、理想と現状のギャップのことであり、それを解決するには、まず現状と理想を把握する必要があります。

そもそも「理想とは何か?」が明確でないことが多々あります。 理想に向かって進んでいける状況さえ作れれば、個人的には「最速か?」とか「最短距離か?」などは些細なことです。 とにかく理想像を作りたいと思いました。 まずは周りの人にヒアリングして現状を把握し、理想像と課題を集めました。

その結果、理想は小粒かつ各人バラバラで、それらを個別に課題解決したところで、大きな貢献ができる気はしません。 とはいえ、その時点で私には現状把握が足りず、単にスキルもなかったため、優れた理想像も描けません。 仕方なく、自分に出来ることから一つ一つ始めました。

具体的には、データ抽出に多大なコストがかかる現状があり、ひたすらスタッフが頑張って手でデータを抽出し整形していた箇所を、いったんExcelのVBAマクロで自動化するといった地味なことを、しばらくしていました。 来る日も来る日も汚いデータと、よく分からない仕様のKPIと格闘していました。

そうこうするうちに、自動化によってデータ抽出作業が楽になったことから、現場では頭を動かす余裕ができました。また、退屈な作業を削減できたことによって私の信頼残高を積めたこともあり、時間をとって議論し理想像を描くことに、徐々に注力できるようになってきました。

ゼロから立ち上げる体験はたいへんだが、かけがえない財産になる

議論を進めるうち、各種データがあちこちのDBや違うシステムに点在・混在していることが主要因となって、KPIやカスタマー・商材の特性が把握できず、そのため経営的な意思決定を迅速に行えないことが分かってきました。そして、いくつもの課題の根本に同じ問題があると分かりました。

そのため各種データを整理・統合した格納先、つまりDWH(データウェアハウス)を作ればよいということが見えてきました(当時はまだDWHという概念がまだそれほどなじんでいなかったのです)。 どんなデータをどう統合すればよいのかを設計する際には、いろいろな細かいデータを見ていたことがたいへん役立ちました。 当初、DWH構築はあくまでシステム開発の話だと思っていましたが、ここでも統計学の知見が役立つのかと新たな感動がありました。

また、DWH構築という大きな名目ができたので、普段なら既存のものに手を入れると嫌がる運用メンバーをこれ幸いと説得しながら、データの改修や、KPIの改善もできました。 この仕事はたいへんでしたが、今とても生きています。チームや部署をゼロから立ち上げるノウハウが、かけがえのない財産になっているからです。

チームや部署がない状態でジョインすると、0→1(ゼロからイチ)を学ぶことができます。一方で、環境が整っている企業ならば、10→100(既存の10を100にする)、あるいは10→1000を体験できます。 本稿をお読みのあなたがどちらにいる・行こうとしてるかは分かりませんが、隣の芝生は常に青く、どちらもよいところがあります。自分に合った方を選んでください。

私もゼロから立ち上げるときには他社をうらやましく思ったこともありますが、最近になって「0→1の経験を持ってるお前はいいな」と言われることがあります。 大事なことは、過去の選択を有効化することです。

データ活用チームで、ビジネス的な視点の重要さも知る

その後ようやくレコメンドや検索など、いわゆる花形なデータ活用施策ができるチーム体制になりました。 そのときまで、いかにデータを充足させるか、いかにイケてるモデリングをするかに関心がありましたが、施策を進めるうちに「大きなビジネスインパクトをもたらすのは裁量次第だ」と気づきました。

例えば、求人サイトで「求職者に会社をレコメンドする」という案件を実施するとしましょう。 データサイエンティストならば、過去の閲覧情報や、求職者と会社とのニーズのマッチング度合いなどをもとに、求職者に会社をレコメンドしようとするでしょう。

しかし、それができるかどうは、会社を自由にレコメンドしてよいかどうかによります。 求人サイトでは、掲載課金型のビジネスモデルを採用していることもあります。 このビジネスモデルは要するに、高めの掲載料を支払えばより上位に表出されるという仕様です。 それを差し置いてレコメンドしては、ビジネスモデルが崩壊してしまいます。

案件に取り組むには、まずビジネスモデルへの理解が必要です。その上で、どのようにレコメンドすればビジネスモデルと齟齬を起こさないかを確認・調整し、そして実施する裁量が必要です。 極端なことを言えば、データやモデルやアプローチが不十分でも裁量さえあれば案件を実施できますが、裁量がなければ素材がどんなにあっても生かすことはできません。

ビジネスインパクトを最大化できるかは、いかに裁量を得るかにかかっています。 案件のインパクトの上限が裁量の大きさで決まるからです。 これに気付いてから、いろいろなことへの興味・関心が徐々に変わってきました。 また、こうしたビジネス上の気づきは技術的な視野にも影響を与えました。

それまで、プログラミング言語や機械学習パッケージのバージョンごとの差異や新機能に一喜一憂してきましたが、次第にどうでもよくなりました。 逆に、継続的かつ安定的なデータ活用を推進するには、バージョン違いを許容する基盤作りが必要だと分かってきました。 そうでなければ古い環境でずっとバッチを作り続けることになり、長い目で見ると競合劣位をもたらすかもしれません。

キャリアを選択する上で考えてきた4つの原則

これまでのキャリアについて、当時の考えと現在への連なりを含めて紹介してきました。 このキャリアを歩むにあたって、なぜこのような「選択」をしたのか? その根幹となっている4つの考え方について説明したいと思います。

「統計学のことは自分に従う」

本シリーズのテーマである「わたしの選択」とは何でしょうか? 「選択する」ことは、主に選択肢として何を選ぶかという側面から語られがちですが、私はそれよりも何について選択するかという側面こそが重要だと考えています。

映画監督の小津安二郎氏に、このような印象に残る言葉がありました。

どうでもよいことは流行に従い、重大なことは道徳に従い、芸術のことは自分に従う

何について選択するかを明確にすること。それは言い換えると、自分が何について魂を震わせたり、責任を持ったりするかということであり、それこそが結局は自分のキャリアを形成していくものです。

私が何かを選択するならば、どうでもよいことは流行に従い、重大なことは道徳に従い、統計学のことは自分に従います。

100万人に1人の人材になる方法

さまざまな企業で働いていると、恐ろしいまでの業績を上げた方と話す機会に恵まれることがあります。 あるすさまじいエピソードをお持ちの方に「なぜそんなことができるのですか?」と尋ねたところ、
「100万人に1人の人材になれば、たいていの無理は通るものだ」
という答えが返ってきて、「器が違う……」と慄(おのの)くことがありました。

skill

100万人に1人の人材になるのは、まずできることではありません。 凡人は凡人らしく過ごすべきか……と目を白黒させていると、合わせてこのような教えを受け、目から鱗が落ちました。

一つのスキルで100万人に1人の人材になるのは確かに難しいが、複数のスキルの掛け合わせで100万人に1人の人材になることはできる。

実際に何かを成し遂げようと思ったら、アタックする市場のドメイン知識や、エンジニアリング、あなたなら統計学など各種スキルが必要で、その3つを掛け合わせた結果で100万人に1人を目指せばよい。

それは持って生まれた才能というより、何をどう掛け合わせるかの選択である。

データ活用系の職種において、よくサイエンスとビジネスとエンジニアリングの3つがベン図で描かれているのを見た人も多いと思います。 それを単に3要素を必修としましょうという話ではなく、どのスキルとどのスキルを掛け合わせるかを選択するものだと受け取れば、また違って見えてくるでしょう。

「will / can / must」のフレームワーク

それでは、スキルが高ければそれでいいのでしょうか? それだけではありません。

will / can / must、つまり「やりたいこと・やれること・やらなければいけないこと(市場価値など)」の3軸でキャリアプランニングするフレームワークを利用しましょう。 この3軸が噛み合うことは、「やりたいことが、実行できて、なおかつ市場価値も高い」というハッピーな状態です。

スキルの高さは、この中でcanに該当します。 ある分野のスキルを高めても、その分野に対して魂が震えなかったり、給与や待遇面でなかなか自分の思い通りにならなかったりすることがあります。

どれが欠けても何らかの不満が出てしまうため、キャリアプランを考える際はこのフレームワークを用いて、3軸の折り合いをつけるように考えましょう。

何を選択肢にするかを自分で選択できるようにする

私は子供の頃から、ディズニーのアニメ映画「アラジン」が大好きでした。 歌って踊れるランプの精霊ジーニーの大ファンで、何度も見過ぎてビデオテープが伸びてしまうほどでした。

ジーニーは宇宙最強の魔法使いであり、彼に不可能はありません。 しかし彼は不幸でした、なぜなら自由がなかったからです。 彼は叫びます。
「どんな魔法もどんな宝も、自由にはかなわない!」。

誰しも自由でありたいと考えるのではないでしょうか? 私も常に自由でありたいと強く願っていました。 そうであるからこそ、ジーニーの姿を見て「自由とは何だろう」と考えるようになりました。

私はそれまで、自由とは「何でもできること」だと考えていました。 ジーニーは何でもできます、しかしそれは限られた選択肢の中でだけです。 与えられた選択肢の中から好きなように選べること、それは彼の望む自由ではありませんでした。

choice

真の自由とは何でしょう? 私にとって自由であることと、統計学との関係、それが選択にどう結び付くかをここで述べたいと思います。

私は、統計学に魂が震えるものを感じ、今に至るまで携わり続けています。そしておそらく死ぬまで続けるでしょう。 しかし、データを扱う分野は他にもあります。それなのに、なぜ他の分野ではなく統計学なのか? 自身に問いました。

統計学は、他の分野より「良いデータとは何かの抽象的な定義や、その作り方」に強くフォーカスしている学問だと、私なりに解釈しています。 言い換えると、ありもののデータで何とかしようとするのではなく、データ自体をよりよくすることで選択肢を広げたり、改善したりする学問だということです。 統計学を学びはじめて十年も経過して、ようやくその考えに至りました。

そしてこのとき、私の中で真の自由とは、何について選択するか? 何を選択肢にするか? それ自体を自分で決められることであり、それを実現する道が統計学であるということに結びつきました。ここに至って、なぜこうも統計学に魂が震えるのかが分かりはじめてきました。

私にとって「選択」とは、選択肢の中から何を選ぶかではありません。 どの選択肢が正しいかは最後まで分かりません。 ただし「何について選択するか? 何を選択肢にするか?」を常に自分で選択できる人生を歩むこと、つまり自由であること。

それこそが「わたしの選択」でした。

そして現在は、選択肢を広げられるように選択している

そうこうしているうちにアラサーになり、かつての同僚や、勉強会で会った方、何年ぶりかの再会を果たして起業した友人などから「仕事しないか?」と誘われるようになりました。 最初はアドホックなデータ解析が主でしたが、次第に起案段階でビジネス的な仕立てから参入したり、データ活用系の部署を作りたいという要望をもとにアドバイザリーをしたりすることが多くなって来ました。

いろいろな業界のいろいろな企業と、いろいろな立場で仕事することから学ぶことが多くなりました。 自分のしていることが企業特有の最適化であることに気づかされ、打ちひしがれることもありました。 逆に「この企業に特有の事情なのだから、その場の最適化としては理にかなっている。何ごとも汎用的な部分にのみ取り組むだけでは、最高の最適化はできないのではないか」と思い直すこともありました。

結局、汎用性と特殊性はバランスであり、一般論だけでは通用しないし、その状況にあまりにも特化し過ぎると柔軟性を失ってしまうのだと気付かされました。 今はその学びをもとに、汎用性があり、他に転用可能な知見を得られる仕事を選ぶようにしています。 「選択肢を広げられるように選択する」、それが次の仕事の選択肢を広げ、業界的には比較的安定して仕事を得られるようになっています。

いろいろなビジュアルでの協業

それ以外にも、本を書いたり、学会で登壇したりなどをしてきましたし、逆に仕事をお願いすることもありました。 知り合いにデータ解析業を依頼することがメインですが、珍しいところでは漫画家やイラストレーターと協業させていただくことがあります。

著書『データ解析の実務プロセス入門』では、とよのきつね。さんにイラストを描いてもらいました。 いま見ても、手法概要と施策利用方法をわずか1ページで図解していて、素晴らしい出来だなと感動します。

本稿でも2点のイラストをサクッと仕上げてくださったミノルさんには、プレゼン資料などでよく用いるイラストを描いてもいただき、たいへん助かっています。

AI
ミノルさんに書いてもらったプレゼン資料用のイラスト

データ活用職の今後のキャリアに悩まれている方へ

最後になりましたが、おそらくあなたが思っているより選択肢はもっとたくさんあります。 いま目に見えている選択肢から何を選ぶかは局所最適でしかなく、選択肢を広げたり改善するために何を選択すべきかを選択していただければと願います。

具体的には、機械学習であろうが情報科学であろうが、結局のところ数学力が基礎を築くので、トレンドの技術に右往左往するより、基本的な数学をしっかり学ぶことを心からお勧めします。 私が機械学習も情報科学も学生時代に全くやってこなかったにもかかわらず現在キャッチアップできているのは、ひとえに恩師から叩き込まれた数学のおかげです。

編集:はてな編集部

【2020年6月11日修正】イラスト中の用字を修正しました。


  1. Harvard Business Reviewの「Data Scientist: The Sexiest Job of the 21st Century」などを参照。

  2. 経済学部を選んだ経緯については、2011年に掲載したブログの記事を参照。