AWSを使ったサーバレスETL処理

大手スーパーマーケットM社様

東海・中部地方に200数十店舗を展開する大手スーパーマーケットM社様では、業務規模拡大に対応するため、オンプレミスで処理していたPOSデータなどの大量データ加工処理をAWSに移行しました。

課題

・業務規模拡大によるデータ量の急増により、夜間処理時間がかかるようになってきた
・今後のビジネス変化への柔軟かつ迅速な対応をするために、拡張性に優れ調達しやすいシステムが必要であった
・南海トラフ巨大地震も想定されるなか、BCPも考慮したシステム基盤が求められるようになってきた

対応と効果

・AWS Lambda を使った並列データ加工処理により、データ加工処理時間と処理コストを削減
・Amazon S3 をストレージ基盤とすることにより、大量かつ長期のデータ保存の信頼性を高めるとともにストレージコストを低減
・EC2、S3、Lambda の利用により、ハードウェア障害や障害復旧時間の不安を軽減

システム構成図