はじめまして。stable株式会社 代表の宮﨑一輝（@ikki_mz）です。
stable株式会社は、データエンジニアリングを専門領域として、企業のデータ活用・データマネジメントに関するあらゆるご支援をしています。
今回は「#も読」の第4回の投稿です。
これまでの回では書籍を紹介してきましたが、今回は少し趣向を変えて、最近リリースされて話題になっていたDatabricksの新機能についての記事を取り上げたいと思います。題材にするのは、Databricksの公式ブログに掲載された 「Reimagining Data Modeling in the Lakehouse: Introducing Vibe Data Modeling」という記事です。ここで紹介されている Vibe Data Modeling という機能について、内容の紹介と、それを読んで感じたことを書いていきます。
先にひとつお断りしておくと、私はこの記事を読んだだけで、実際にこの機能を触ったわけではありません。そのため、細部まで正確に理解できているわけではなく、もしかすると解釈を誤っている部分もあるかもしれません。その場合はご指摘いただけますと幸いです。その点はご了承のうえでお読みください。
なぜこの機能に注目したのか
私は普段の仕事で、dbtなどを使ってデータモデリングをしています。今回の記事のテーマであるSilverレイヤー、つまり基本的な加工を終えたデータモデルを作るという作業も、日頃からよく行っています。
データエンジニアの方であれば共感いただけると思うのですが、データモデリングというのは本当に時間がかかる作業です。人によっては業務の大部分を占めているのではないでしょうか。というのも、良いデータモデルを作ろうとすると、扱うデータそのものをきちんと理解し、さらにその事業についてもきちんと理解したうえで設計しなければ、分析のニーズに応えられるモデルにならないからです。この「データの理解」と「事業の理解」の両方が求められる点が、データモデリングに時間がかかる大きな理由だと考えています。
そんな時間のかかる領域が、AIによってある程度自動化できるかもしれない。そうした文脈でX上でも話題になっていたので、私も個人的に強く関心を持ちました。というのが、この記事を取り上げる前置きになります。
