E-commerce Data Pipeline

프로젝트 기간: 2025.12.7

가상의 전자상거래 데이터를 기반으로 한 클라우드 기반 데이터 파이프라인 구축 프로젝트

• 기술스택: Python, AWS S3, Prefect, Docker, Pandas
• 인원 및 역할: 1명 (본인 – 데이터 파이프라인 구축 및 오케스트레이션)
• GitHub: E-commerce

📌 프로젝트 개요
• AWS S3 기반 데이터 레이크를 활용하여 전자상거래 데이터 ETL 파이프라인 구축
• Prefect로 워크플로우 오케스트레이션 및 모니터링 구현
• Docker 기반 컨테이너화로 배포

🎯 목표
• 원본 데이터를 안전하게 S3에 적재하고, 데이터 정제 및 비즈니스 지표 생성
• 파이프라인 자동화 및 재현 가능한 배포 환경 구성

🚀 주요 기능
• S3 업로드 스크립트로 원본 데이터 적재
• ETL 프로세스로 데이터 정제 및 변환, 신규 필드 추가
• Prefect 기반 플로우 관리 및 스케줄링
• Docker 컨테이너를 통한 배포 및 실행 환경 통일

💻 개발 역할 및 기여
• 전체 데이터 파이프라인 설계 및 구현
• S3 데이터 적재 및 ETL 처리 자동화
• Prefect 오케스트레이션 및 Docker 기반 배포 환경 구축

✅ 성과 및 회고
• 실시간 데이터 파이프라인 운영 및 모니터링 가능
• Docker + Prefect 기반 재현 가능한 배포 환경 확보
• 클라우드 데이터 엔지니어링 경험