職種
データエンジニア年収
450万円 〜 700万円利用技術
仕事内容
【担当業務】
1. ETLパイプラインの設計・開発
AWS Lambda + Step Functionsを中心としたサーバーレスアーキテクチャで、企業のクラウド課金データを処理する高性能なETLシステムを構築します。
<技術的な特徴>
・Pythonエコシステム(Pandas/NumPy)を活用したベクトル演算処理
・デザインパターン(Template Method、Strategy等)を適用した保守性の高い設計
開発環境
<技術スタック>
・言語・ライブラリ: Python (Pandas, Numpy)
・クラウド: AWS (Lambda, Step Functions, S3, Redshift, RDS, CloudFormation)
・データストレージ: Redshift, RDS, S3 (CSV, Parquet, JSON)
・可視化: Looker (LookMLによる定義)
・開発環境: GitHub, Cursor,