
セマンティックレイヤーとオントロジー、AIエージェント時代のデータ基盤を考える
はじめまして。stable株式会社 代表の宮﨑一輝(@ikki_mz)です。
stable株式会社は、データエンジニアリングを専門領域として、企業のデータ活用・データマネジメントに関するあらゆるご支援をしています。
今回は「#も読」の第2回の投稿です。
第2回となるこの記事では、ETLツールのAirbyteのテックブログで、AIエージェントにどのようにコンテキストを渡せばいいかということについて書かれた「The Missing Context Layer: Why Your LLM Agent Can't Do More Than Text-to-SQL」という記事について、紹介したいと思います。
記事が主張していること
Airbyteの共同創業者・Michel Tricotによるこの記事は、「セマンティックレイヤーを整備したのに、なぜAIエージェントはまだうまく動かないのか」という問いから始まります。
ちなみに、セマンティックレイヤーについて理解していることが前提となっているため、セマンティックレイヤーって何だ?という方は、以前私が作成した以下のスライドを参考にしてください。
セマンティックレイヤーを構築している会社では、dbt、LookML、Cube等のツールを導入し、メトリクスの定義を統一し、ダッシュボードで表示する指標定義が一致するよう整備してきました。しかし、それでもAIエージェントは正しい分析を行えないという問題が依然としてあります。
なぜ上手くいかないのかというと、AIエージェントが「StripeとZendeskとSalesforceのレコードが、同じ一人の顧客を指している」という事実を認識できないからだ、と筆者は主張しています。
つまり、セマンティックレイヤーは「メトリクスの意味」を定義するという課題の解決にはなるが、「エンティティの関係性」を定義するという課題には対応できていない、というのが記事で主張されている課題意識となっています。
セマンティックレイヤーの問題点
では、現在データチームで多く扱われているセマンティックレイヤーの何が問題なのでしょうか。記事では以下のような要素が不足していると説明されています。
- Identity:同一人物・同一企業を、バラバラなシステムのレコードから見つけ出す必要がある
- Relationships:エンティティがどのように接続されているか、それによってエージェントがエンティティ間を移動できる。
まず、「Identity」について。
一般に、企業の活動においては複数のシステムが運用されています。その中で「同じユーザーが別システムで管理されている」ということは多いです。例えば、Stripe, Zendeskでそれぞれ同一のユーザーが扱われるような場合です。