【フルリモート／Python・Rust・Typescript／自然言語処理×SaaS／自社でLLM開発／GENIAC参画】データプラットフォームエンジニア募集！テラバイト規模のデータプラットフォームにおける開発をお任せ

【ミッション】
全プロダクト共通のデータ配信システムに位置する、Webクローラーと文書配信パイプライン
の設計、開発、運用を行なっていただきます。
エンジニアとして記載の課題解決のための開発を進めなが

[組織体制]
Opendata Team（8名）
内訳：Manager1名、サーバーサイドエンジニア2名、データエンジニア1名、機械学習エンジニア2名、MLOps1名、Data Reliability Engineer1名

[開発言語]
Webクローラー: TypeScript(Node.js)
データパイプライン: Python
文字列処理: Rust

[コンテナ]
Docker

[IaC]
Terraform

[クラウド]
AWS, GCP

必須スキル/経験

※①〜④すべて必須
①エンジニア経験5年以上
②PythonまたはTypeScript(Node.js)を用いたアプリケーション開発経験
③要件定義から設計〜実装〜運用に至るまで気通貫での経験
④以下の経験1つ以上
　・サーバーレスを用いたフルスタックな開発/運用及びそのリード経験（Lambda, ECS, Fargate, Step Functions, Cloud Functions, Cloud Runなど）
　・データパイプライン・ETLの構築やワークフローエンジン、分散処理フレームワークを用いた開発/運用経験（Hadoop、Sparkなど）

歓迎スキル/経験

・コンピュータサイエンスに関連する技術分野の修士号または博士号
・チーム開発をリードした経験
・顧客向け自社開発サービスの開発、運用経験
・文書検索や文書推薦を行うサービスの開発、運用経験
・サーバーレスに対する幅広い知見と業務経験
・Terraformを用いた開発/運用経験

求める人物像

・コンピュータサイエンス、分散処理が好き
・最新の理論や事例をフォロー、検証するのが好き
・与えられた課題だけでなく、自ら問いを立て、そのために必要な解決策を生み出せる
・ビジネスサイドとコミュニケーションしながら、いかにプロダクトに貢献できるかを考えられる
・前向きなチャレンジ精神

＜その他＞
・日本国内に居住可能な方
・開発に関する技術的な内容含め、日本語で円滑にコミュニケーションが取れる方
　目安：日常会話レベル

仕事の魅力

全プロダクト共通の文書配信システムの開発と運用に携わることで、以下の経験を積むことができる。
・数億件規模の文書データのサーバーレス分散処理に携わることができる
・数万サイトを対象としたWebクローラーの開発に携わることで、Webフロント・バックエンド両方の知見を活かしつつ、不安定なシステムの監視・運用設計のノウハウを取得できる
・PdMやCustomer Successチームとコミュニケーションしながら新規開発や改善策を自身で提案・開発することで、事業へのコミットを経験できる