https://helloworld.kurly.com/blog/bigquery-1/ 컬리의 BigQuery 도입기 - 1부 - 컬리 기술 블로그컬리 데이터 파이프라인의 BigQuery 도입 배경과 그 주안점helloworld.kurly.com 1부: 전환 배경 기존 시스템의 4가지 문제① 긴 지연시간 : 데이터가 창고에 도착하기까지 20분~1시간 걸림.② 스토리지 부족 : 데이터가 계속 쌓여 오래된 데이터를 주기적으로 삭제해야 했음.③ 느린 쿼리 응답 : 적재 작업과 조회 작업이 같은 자원을 두고 경쟁해 서로 성능을 떨어뜨림.④ 복잡한 적재 과정 : 데이터가 창고에 도달하기까지 거치는 경로(파이프라인)가 지나치게 길고 얽혀 있음.기존 파이프라인의 경로여러 원본 DB → CDC(변경분 추출) → Kafka(..