業務の中で、データ基盤やデータ処理に関わる機会が増えてきたことで、データエンジニアという選択が気になり始めている。そんな方は少なくないはずです。
一方で、「高度な数学や統計ができないと難しいのではないか」「これまでバックエンドやインフラで積んできた経験はデータエンジニアになっても通用するのか」——そうした迷いから、一歩を踏み出せずにいる方も多いのではないでしょうか。
ちゅらデータ株式会社CTOの菱沼 雄太さんは、「Snowflake Data Superheroes」「DATA LEADERS TO WATCH IN 2023」に選出されるなど、モダンデータスタックの構築で国内有数の実績を持つ、データエンジニアリングの第一線を走る一人です。ですが、そのキャリアは「データ畑」から始まったわけではありません。新卒でSIerに入り、その後もゲーム開発などの現場で、バックエンドからインフラまでフルスタックに手を動かしてきた、たたき上げのエンジニアでもあります。
「作りたいものなんてなかった。空いている穴を埋めていっただけ」と語る菱沼さんの、非データ職からデータエンジニアへの転身のリアルをたどっていきます。
菱沼 雄太（ひしぬま ゆうた）
ちゅらデータ株式会社 CTO、DATUM STUDIO株式会社執行役員（@foursue）
SRE、DevOps、MLOps、データ基盤構築あたりの領域が得意。データ基盤構築、データエンジニアリングを中心に多種多様なプロジェクトをリード。2021年にはSnowflake が主催する『Data Drivers Awards 』にて日本人初の「DATA HERO OF THE YEAR 」を受賞。これを皮切りに、同社が選出するSnowflake Data Superheroesを4年連続受賞。2023年にはDATA LEADERS TO WATCH IN 2023に日本から唯一選出されており、モダンデータスタック構築については国内有数の実績。
実は、データエンジニアを目指したわけではなかった
ーー まずは、菱沼さんのこれまでのキャリアについて教えてください。
私は大学ではなく専門学校を卒業しています。ちょうど就職氷河期で、「手に職をつけないと就職が大変だぞ」という時代。プログラミングを学ぶところから始めて、資格もいくつか取って、新卒でSIerに就職しました。それがキャリアの始まりですね。
何度か転職をしましたが、キャリアの転機になったのは、20代後半を過ごしたコンテンツプロバイダ企業での経験でした。
もともとはJavaのバックエンドエンジニアとして入社しましたが、当時、その会社にはインフラに責任を持てる人がいなかったんです。みんな片手間でサーバーにログインして設定している、という状態でした。そこで「じゃあ自分がやります」と手を挙げたんです。実は母校の専門学校で講師をやっていた時期があり、Linuxやネットワークの知識だけはあったので。
当時はAWSのようなクラウドもなくて、障害が起きたらタクシーでデータセンターに向かうような時代。携帯電話から大量のアクセスが集中する、とにかく高負荷なサービスでした。データベースのチューニングはもちろん、何か問題が起きればMySQLのソースコードを読んで原因を突き止める。MySQLはオープンソースなので、そうやって自分で解決していくしかない環境で、気合と根性でサービスを支えていました（笑）。
インフラだけでなく、採用のような周辺業務も任されました。誰も手をつけていない空いている穴があれば、とりあえず自分が埋めにいく。それが、私のキャリアの基本姿勢になっていきました。
ーー 現職のちゅらデータに入社する経緯についてもお聞かせください。
その後、金融系SIerなどいくつかの会社を経て、沖縄に移住することになりました。
きっかけは、コンテンツプロバイダ時代に一緒に仕事をしていた年上の方が、沖縄でゲーム会社を経営していたことです。「インフラに責任を持てるエンジニアがいないから来ないか？」と誘われました。それで移住して、2〜3年ゲームを作り、最終的にはCTOになりました。
そして2019年末、ゲーム会社で一緒に働いていた同僚に誘われて、ちゅらデータに入社しました。
ーー ちゅらデータに入った当初から、データエンジニアになろうと考えていたのでしょうか。
いいえ、違いました。ちゅらデータは当時、AIやデータサイエンスを手がける会社でした。AIや機械学習を扱う会社だと思っていたので、入社前には「データサイエンスを勉強しなきゃ」と、数学や統計の本まで買って読んでいたくらいです。
ところが実際に入ってみると、任された仕事は全部エンジニアリングだったんです。理由を聞いて、納得はしました。AIや機械学習を動かすには、まずその材料となるデータをきちんと用意しないといけない。そのためのエンジニアリングが、当時のちゅらデータにはまったく足りていなかったんですね。
ただ、頭で理解はしても「AIの会社に来たのに、エンジニアリングが仕事でいいのかな」という引っかかりは、しばらく拭えませんでした。
データエンジニアは水道や電気と同じ、社会を支える仕事
ーー 入社当初の「エンジニアリングでいいのか？」という引っかかりは、どう晴れていったのでしょうか。
現場に入って、エンジニアリングこそが必要なんだと腹落ちしたんです。
データサイエンティストの方々は、必ずしもエンジニアリングを修めてきたわけではありません。だから、実験結果が再現できなかったり、本番にプログラムを手で投入してしまったり。「ちょっと待って。CI/CDはどうした？」となるような場面が、現場には結構あったんですね。
もちろん、データサイエンティストもエンジニアリングの必要性は理解しています。でも、彼らの本質的な価値は科学的な部分にあって、そこを突き詰めるのが仕事ですから、エンジニアリングまで手が回りきらない。だったら、自分がエンジニアリングを提供すれば、すごくレバレッジが効くんじゃないか。そう理解して「これはやらなきゃ」と思ったんです。
バリューチェーンの考え方に近いかもしれません。どこか一箇所がボトルネックになると、その先のお客様まで価値が届かない。データサイエンス側がどれだけ優れた分析をしても、それを本番で動かし再現するエンジニアリングがなければ、成果は世に出ない。そのボトルネックを取り除くのが、自分の役割だと思いました。
ーー これまでのご経験で、データエンジニアの仕事に活きていると感じるものはありますか。
いろいろありますね。データエンジニアの仕事は、扱う領域が本当に幅広いんです。
たとえば大量のデータを処理する場合、コストさえ気にしなければ、実はそれほど難しくありません。全データを丸ごと処理してしまえば、答えは出ますから。
難しくなるのは、それを「速く、安く」やろうとしたときです。CPU、メモリ、ディスク、ネットワークなど、コンピューターのリソースは限られているので、どこに負荷を寄せれば効率よく使えるかを判断しなければならない。ここに、クラウドが普及する前に物理サーバーを直接扱っていた経験がそのまま効いてくるんです。
理論的に正しいデータ処理でも、現実の大量データにそのまま適用すると、計算量が膨れ上がって莫大なコストがかかることがあります。たとえば、取り出せる価値は100円分なのに、その処理に1万円かかってしまうような本末転倒が起きるんです。だからこそ、無駄な計算を省いて、コストに見合う形に落とし込む。その感覚は、インフラ出身だからこそ持てたものだと思います。私のようにインフラを扱ってきた人はデータエンジニアに向いていると思いますよ。
ーー データエンジニアという仕事の、やりがいはどこにありますか。
データエンジニアの仕事にはひとつ大きな特徴があります。エンドユーザーが目の前にいないんです。
ゲームやWebサービスなら、使ってくれる人の反応やフィードバックが直接返ってきます。でも、データエンジニアが作るのはあくまでプラットフォーム。ユーザーが直接喜ぶものではありません。
ですが、見えないだけで果たしている役割は大きい。私の感覚では、水道管や電線、発電所と同じです。それぞれの会社の心臓を作り、血管を作り、血が流れるようにしている。そういう仕事なんです。
だからこそ、想像力が働かないとちょっと面白くない。「自分が作っている基盤には、社会的な意義がある」「自分がこの仕事をやらなければ組織が回らない」と想像できるかどうかが、データエンジニアの向き不向きの分かれ目だと思います。
また、データを持っている部署は、自分たちが使えれば十分だと考えて、他部署に共有する意味を感じにくいことがあります。いわゆる組織のサイロ化ですね。
でも会社全体で見れば、共有されないせいで別のチームが同じデータを一から作り直す無駄が起きている。そこを「ちゃんと共有しましょう」と旗を振るには、ある種の正義感みたいなものが要ります。
ーー そのデータエンジニアの存在意義を、菱沼さんご自身が実感する瞬間はありますか。
成果が返ってくるのは、少し後になってからです。お客様が「こんな成果が出ました」とプレスリリースを出す。それを見て、「ああ、この裏側を支えたのは自分たちだな」と気づくんです。支援した企業が1年後、2年後に成長しているのを知ると、すごく嬉しいですね。
仕込んでいた種が芽吹いて、私たちの手を離れたところで花開いている。でも、その栄誉はお客様のものなんですよね。私たちはただの裏方なんですけど、影の支配者みたいなポジションにいる（笑）。そこが、すごく楽しいんですよね。
キャリアチェンジするなら今。後発でも追いつける
ーー 生成AIの広がりは、データエンジニアの仕事をどう変えていますか。
大きく二つの面があります。
ひとつは、私たち自身の働き方の変化です。Claude Codeのようなエージェントを使った開発に移りつつあって、ここはWebやアプリのエンジニアと大きくは変わりません。
ただ、こうした汎用的なコードエージェントは、Web開発のような利用者の多い領域に強くチューニングされていて、データ基盤づくりの部分は手薄なんです。そこは、データ領域に特化した専用のエージェントを自分たちで用意して補っています。
もうひとつは、「AIにデータを供給する」という面が強くなってきたことです。これまでは人間向けに、わかりやすいデータを用意するのが主な役割でした。でも人間は暗黙的な知識をたくさん持っているので、多少データが整っていなくても扱えるんです。
一方、AIには暗黙知がありません。だから、データ側でその暗黙的な部分を減らして、AIが解釈できる形に作ってあげる必要がある。AIが解釈できる形にデータを用意できるかどうかで、その会社がAIを活かせるかが決まってくる。そこがこれからの勝負どころだと思います。
ーー では、バックエンドやインフラなどの非データ職からデータエンジニアを目指す場合、いま何が求められるのでしょうか。
実は……データエンジニアって後発でも追いつきやすいんですよ。
というのも、イケてる技術やマネージドサービスが次々に出てくるので、2年前のやり方に詳しい2年目のエンジニアより、昨日出た機能に詳しい1か月目のエンジニアの方が強かったりするんです。
たとえばClaude Codeが1年前に出たとして、それを使いこなせるキャリア1年の人は、使いこなせないキャリア5年の人より生産性は高いですよね。もちろん、体系的な知識やこれまでの経験が無駄になるわけではありません。ただ、最新のツールを使って実務を回すという点では、キャリアの短い人でも十分に戦える時期なんです。
だから今は、データエンジニアへのキャリアチェンジに挑戦しやすい時期だと思います。インフラやWeb、アプリ開発をやってきた人はもちろんマーケターのような非エンジニアにもチャンスがある。「自分には経験がないけど大丈夫でしょうか？」という質問自体が愚問です。
ただ、ひとつだけ条件があります。まったくの独学で、社内に先輩データエンジニアがいない環境に飛び込むのは、正直おすすめしません。たとえば、Claude Codeのような最新ツールは、素人がひとりで使っても上手く使いこなせない。でも、ペアプログラミングをしながら教えてくれる先輩がいれば正しい使い方が身についていく。だからこそ、先輩がいる環境を選んでほしいです。
ーー データエンジニアのスキルは、特定の会社や業界を越えて通用するのでしょうか。
もちろん、通用します。
データに関する技術は、実は1970年代からそれほど変わっていません。データをどう設計して整理するか、というデータモデリングの考え方は、その代表例です。半世紀ものあいだ連綿と受け継がれてきたもので、「来年から急に意味をなくす」なんてことは絶対にありません。
コンピューターで何かをするとき、結局その主役はデータです。どこにどんなデータを書き込んで、読み込んで、保存して、取り出すか。だから、データを軸にエンジニアのキャリアを決めていくと、すごく汎用性が高いと思います。
新卒からシニアまで、世代を越えて学び合える環境
ーー ちゅらデータで働く面白さや、ここならではの環境について教えてください。
ちゅらデータは、黎明期からデータエンジニアリングに力を入れてきた会社で、第一線で活躍してきた先輩社員が数多く在籍しています。データエンジニア界隈で名の知られた人や、技術書・技術誌で執筆している人も多い。そういう人たちと、普段から気軽におしゃべりできるんです。
面白いのは、その先輩たちが今も現役で手を動かしていることです。ある年次から上はマネジメントに専念する会社も多いですが、ちゅらデータにはそういう組織・風土ではありません。定年間近のベテランが、提案書を書き、お客様と話し、コードも書いています。
だからでしょうか、当社は年齢の幅がとても広いんです。一般的には若手が多く、上の世代ほど少なくなりがちです。一方でちゅらデータは、新卒から定年間近のシニアまで、各世代がまんべんなく揃っています。世代を越えてワイワイ学びながら働けるのが、ひとつの良さかなと感じています。
2025年9月に広島で開催された PyCon JP 2025 にゴールドスポンサーとして参加
ーー 案件を引き受けてから納めるまでで、特に意識していることはありますか。
ただ「言われたとおり作る」ような進め方はしません。そこは、ソフトウェアエンジニアリングとデータエンジニアリングの違いでもあります。
ソフトウェア開発は、ビジネス上の課題や仮説があって、それを仕様に落とし込んで作っていきます。だから「言われたとおり作る」という構造になりやすいんです。
一方データエンジニアリングの場合、事前に仮説を立てても、実際にデータを流してみると想定と食い違うことも少なくありません。たとえば、特定の商材がテレビで取り上げられた途端に、データの傾向がガラッと変わる。すると、見るべき指標も使うべき手法も変わってくる。だから、現実のデータを見ながら、その都度向き直っていく必要があります。
また、お客様は自社の課題を一番わかっているものの、実はその課題認識が正しい解決策と結びついていないこともあるんです。だからこそ私たちはデータの専門家として、お客様が持っていない視点や知識を提供する側でありたいですね。
専門家として「こうあるべきだ」という考えを、さまざまな手法で形にしていく。それが私たちの仕事なので、「言われたとおり作る」という感覚はあまりないんです。
ーー クライアントワークに取り組むうえで、技術力以外に何が求められますか。
クライアントワークで何より大切なのは、引き受けたことを最後まで責任を持ってやり切るコミットメント力です。少人数のチームで動くので、一人ひとりが最後までデリバリーできるかが、そのまま成果に直結します。「3日でできます」と言ったなら3日で仕上げ、難しければ正直に「4日かかります」と最初に伝える。その確約の積み重ねが、お金をいただいてものを作る私たちの仕事では特に重みを持つのです。
作りたいものがなくても、キャリアは後からついてくる
ーー キャリアの分岐点に立ったとき、菱沼さんは何を軸に進む道を選んできたのでしょうか。
これは、最近ようやく言葉にできるようになったことなんですが……勇気がなくて言えなかったんですけど、実は私、作りたいものがなかったんですよ。
「これを作りたい」という思いがまったくなくて。もちろん、明確に作りたいものがあるエンジニアもたくさんいて、そういう人はそれを作って事業を起こせばいい。でも私にはそれがないので、世の中から求められることに応えたほうが単純に楽しかったんです。
そして、求められることに応え続けていると、市場で必要とされるスキルが自然と自分に備わってきます。これは結果論ですが、すごくおすすめの生き方です。チームで誰も拾っていないボールがあれば、「あ、それやっておきますよ」と動く。人手でやっている作業を自動化する、といった需要を見つけて解決していく。そうやって動き続けていると、自然とキャリアが時代に合ったものになっていく。時代にアライメントされていく、という感覚ですね。
ーー 最後に、データエンジニアを目指す読者へメッセージをお願いします。
本音を言うと、データエンジニアがもっと増えてほしいんです。需要に対して、担い手がまったく足りていない。いまも社内でたった一人、孤独に悩んでいる方が少なくありません。それを見ると、なんとかしたいと強く感じます。だからこそ、もっと多くのデータエンジニアを育て、世に送り出していく必要があると思っています。
それに、いまはエンジニアリング全体が、どこへ向かっていくのか見通しづらい時代です。私たちデータエンジニアも、AIエージェントが本番データに触れることのリスクと向き合っています。先が見えないという不安は、読者のみなさんも同じではないでしょうか。
そんな中で、ではどうすればいいのか。私は、とにかくこの現場に居続けることだと思っています。先を見通せなくても、目の前の問題をひとつずつ解決しながら、その場に留まる。それしかないし、それでいい。だから一緒に居続けましょう。そういう気持ちです。
作りたいものなんてなくていい。空いている穴をひとつずつ埋めていけばいい。その先に、きっと道はできています。
SIerやインフラの経験を活かして、データエンジニアに挑戦しませんか
ちゅらデータでは、一緒に働くデータエンジニアを募集しています。記事でお伝えしたとおり、第一線で活躍する先輩エンジニアが数多く在籍し、世代を越えて手を動かしながら学び合える環境です。
また沖縄を拠点にしていますが、フルリモートで全国から働くことも、沖縄への移住も歓迎しています。
少しでも関心を持っていただけたら、Findyの求人ページからご連絡ください。具体的な役割や働き方について、お話しできればと思います。