미소의 세상

시작하며시각화 도구 Looker Studio. 백엔드 개발자 입장에서 "이게 왜 이렇게 동작하지?" 싶었던 것들 위주로 정리한다.Looker Studio가 하는 일Looker Studio는 구글에서 제공하는 무료 BI(비즈니스 인텔리전스) 도구다. BigQuery 같은 데이터 소스에 연결해서 표, 차트, 대시보드를 만들 수 있다.백엔드 개발자 관점에서 제일 헷갈렸던 건, "데이터 소스"라는 개념이 두 가지 방식으로 존재한다는 점이었다.테이블 직접 연결: BigQuery 테이블 하나를 그대로 연결하는 방식. Looker Studio가 알아서 SELECT * 비슷하게 긁어옴커스텀 쿼리 연결: 직접 짠 SQL(주로 CTE로 여러 단계 가공한 쿼리)을 등록해서, 그 쿼리 실행 결과를 데이터소스로 쓰는 방식실무에..

시작하며GCP 인프라 쪽을 정리한다. 백엔드 개발자 입장에서 "이게 왜 필요하고 뭘 하는 애인지" 헷갈렸던 것들 위주로.GCS(Google Cloud Storage)부터GCS는 한 줄로 말하면 "파일을 통째로 저장하는 클라우드 스토리지"다. AWS의 S3랑 같은 포지션이라고 보면 된다.백엔드 개발자 관점에서 헷갈렸던 건, 이게 파일시스템도 아니고 DB도 아니라는 점이다.파일시스템처럼 폴더 구조가 있는 것처럼 보이지만, 사실 GCS 내부적으로는 "버킷"이라는 평평한(flat) 네임스페이스에 객체(object)를 저장하는 구조다. gs://my-bucket/folder/file.py라는 경로도, 실제로는 folder/file.py라는 키 이름 하나를 가진 객체일 뿐, 진짜 폴더 계층이 물리적으로 존재하는 게..

시작하며실제로 데이터를 가공하는 도구인 BigQuery 차례다. RDBMS(MySQL, PostgreSQL 등)만 쓰던 백엔드 개발자 입장에서 BigQuery를 쓰면서 "어, 이거 왜 이러지?" 했던 지점들을 정리해본다.BigQuery는 RDBMS랑 뭐가 다른가가장 먼저 이해해야 하는 건 OLTP와 OLAP의 차이다.OLTP (On-Line Transaction Processing): 우리가 익숙한 MySQL, PostgreSQL 같은 것. "주문 하나 넣기", "재고 하나 차감하기" 같은 작고 빈번한 트랜잭션을 빠르게 처리하는 데 최적화됨OLAP (On-Line Analytical Processing): BigQuery 같은 것. "지난 한 달간 지역별 매출 합계 뽑기" 같은 적은 빈도, 큰 스캔량의 ..

시작하며7년차 백엔드 개발자로 살다가 데이터 엔지니어링 쪽 업무를 맡게 되면서, ETL이니 Airflow니 하는 용어들을 처음부터 다시 익히는 중이다. Java, RDBMS, API 서버만 만지던 사람 입장에서 정리한 개념들을 남겨둔다.ETL이란?ETL = Extract(추출) + Transform(변환) + Load(적재)말 그대로 세 단계다.Extract: 여러 원천 시스템(웹 로그, 앱 이벤트, 주문 시스템, 광고 플랫폼 등)에서 데이터를 가져오는 단계Transform: 가져온 데이터를 정제하고 가공하는 단계 (중복 제거, 형식 통일, 지표 계산 등)Load: 가공된 데이터를 최종 저장소(데이터 웨어하우스)에 적재하는 단계백엔드 개발자 관점에서 비유하면, ETL은 "배치 작업으로 돌아가는 데이터 변..

* 트랜잭션(Transaction) - 트랜잭션이란 '거래'라는 뜻으로 데이터베이스 내에서 하나의 그룹으로 처리되어야 하는 명령문들을 모아 놓은 논리적인 작업 단위이다. - 데이터베이스 응용 프로그램은 트랜잭션들의 집합으로 정의 할 수 있다. - 여러 단계의 처리를 하나의 처리처럼 다루는 기능이다. - 여러 개의 명령어의 집합이 정상적으로 처리되면 정상 종료된다. - 하나의 명령어라도 잘못되면 전체 취소된다. - 트랜잭션을 쓰는 이유는 데이터의 일관성을 유지하면서 안정적으로 데이터를 복구하기 위함이다. * 트랜잭션 필요성 1. 트랜잭션은 '거래'라는 뜻으로, 은행에서 입금과 출금을 하는 그 거래를 뜻한다. 2. A 은행에서 출금하여 B은행으로 송금한다고 가정하자. 3. 송금한느 중에 알 수 없는 오류가 ..

프론트 엔드와 백 엔드는 쉽게이야기하자면 사용자를 기준으로 보여지는것을 개발 할 것인가, 안보여지는것을 개발 할 것인가의 차이다. 여러분들이 앱을 눌러 실행하면 화면이 나오고 버튼들이 나온다. 그리고 특정 액션들이 실행된다. 여기까지가 프론트엔드 개발자의 몫이다. 특정액션들이 실행되면, 앱에서는 서버로부터 데이터를 주고받으며, 다양한 연산이나 처리를 요청한다. 이부분이 백엔드 개발자의 몫이다. 풀스택개발자의 개념은 2016~2017년 이후 확실해졌다. 풀스택 개발자는 UX/UI부터 DB까지 일련의 과정을 설계하고 개발하는 개발자이다. 아래부터 하나씩 자세하게 알아보자 프론트엔드(Front end) 개발자 보통 웹 디자이너나 웹퍼블리셔라고도 불렀는데 개발자인지 디자이너인지 분간이 애매했었고, 백엔드 개발자..