미소의 세상

시작하며7년차 백엔드 개발자로 살다가 데이터 엔지니어링 쪽 업무를 맡게 되면서, ETL이니 Airflow니 하는 용어들을 처음부터 다시 익히는 중이다. Java, RDBMS, API 서버만 만지던 사람 입장에서 정리한 개념들을 남겨둔다.ETL이란?ETL = Extract(추출) + Transform(변환) + Load(적재)말 그대로 세 단계다.Extract: 여러 원천 시스템(웹 로그, 앱 이벤트, 주문 시스템, 광고 플랫폼 등)에서 데이터를 가져오는 단계Transform: 가져온 데이터를 정제하고 가공하는 단계 (중복 제거, 형식 통일, 지표 계산 등)Load: 가공된 데이터를 최종 저장소(데이터 웨어하우스)에 적재하는 단계백엔드 개발자 관점에서 비유하면, ETL은 "배치 작업으로 돌아가는 데이터 변..