Clickhouse RunningAccumulate()로 누적값 구하기

MySQL이나 PostgreSQL이라면 Partition by나 OVER등을 사용해서 누적값을 쉽게 구했을 지 모르겠지만 한동안 Clickhouse에서는 쉽게 누적값을 구하는 방법을 몰라서 그냥 python pandas를 이용해서 누적값을 구한 테이블을 가공하여 가공 테이블을 사용하는 방식으로 누적 그래프 등을 그렸다. 하지만 오늘 RunningAccumulate()라는 함수로 쉽게 누적 값을 구할 수 있는 방법을 알게 되었다. 함수 이름은 누가봐도 누적값 계산인데 왜 그 동안 몰랐을까? 사용하는 방법은 아주 간단하다. 일단 내가 가지고 있는 데이터는 이러하다. 각 월별로 몰 수가 카운팅 된 데이터 인데, 이 데이터를 이용해서 누적 값을 구해보려고 한다. 이 데이터를 runningAccumulate() ..

2021.06.30Career/Data

Clickhouse Query로 YoY(year-over-year) 구하기

BI 데이터 조회용으로 Clickhouse를 사용하고 있다 보니 Clickhouse에 저장한 주문 등의 데이터로 YoY, 또는 전월 대비 성장률 등을 구해야 할 때가 있다. 물론 Pandas를 사용해서 데이터를 가공하고 이를 Clickhouse에 넣는 것이 가장 이상적인 방법이라 생각하지만 삽질을 하다가 꽤나 쉽게 Clickhouse에서 제공하는 윈도우 함수로 YoY를 구할 수 있어 이를 소개해보려고 한다. YoY를 쉽게 구할 수 있는 쿼리를 찾다가 발견한 neighbor( )함수. 이 함수를 사용해서 YoY를 쉽게 구할 수 있었다. Clickhouse에서 제공하는 문서를 보면 추출한 데이터에서 특정 행의 몇 개 순서 앞 또는 뒤의 행의 데이터를 불러올 수 있는 함수인 것 같다. 문서 내에 neighbo..

2021.04.18Career/Data

왜 Clickhouse 인가?

왜 Clickhouse 인가? 현재 회사에서 진행하고 있는 프로젝트는 내부에 있는 데이터를 자유롭게 조회하고, 가공할 수 있는 플랫폼을 제작하는 일인데 대부분 Business Intelligence를 위한 데이터를 저장하고 이를 다양한 viewer로 저장할 수 있게끔 한다. 이 과정에서 우리는 데이터 저장소를 Clickhouse로 결정했다. ( Clickhouse는 일종의 DB이다. PostgreSQL 같은.. 다 알겠지만.. ) Clickhouse를 사용한 이유는 2가지가 있었다. 1. BI용으로 데이터를 분석하기 위해서는 대부분 2-3년 정도의 추이를 보며 인사이트를 발견할 수 있어야 하는 데 일반 RDBMS로는 데이터 용량이 너무 커지거나 ES 같은 장치로는 저장 기간이 너무 짧았다. 근데 clic..

2020.12.16Career/Data