Clickhouse RunningAccumulate()로 누적값 구하기

MySQL이나 PostgreSQL이라면 Partition by나 OVER등을 사용해서 누적값을 쉽게 구했을 지 모르겠지만 한동안 Clickhouse에서는 쉽게 누적값을 구하는 방법을 몰라서 그냥 python pandas를 이용해서 누적값을 구한 테이블을 가공하여 가공 테이블을 사용하는 방식으로 누적 그래프 등을 그렸다. 하지만 오늘 RunningAccumulate()라는 함수로 쉽게 누적 값을 구할 수 있는 방법을 알게 되었다. 함수 이름은 누가봐도 누적값 계산인데 왜 그 동안 몰랐을까? 사용하는 방법은 아주 간단하다. 일단 내가 가지고 있는 데이터는 이러하다. 각 월별로 몰 수가 카운팅 된 데이터 인데, 이 데이터를 이용해서 누적 값을 구해보려고 한다. 이 데이터를 runningAccumulate() ..

2021.06.30Career/Data

수종사에서 문득 아줌마가 됨을 느끼다

지난 일요일, 날씨가 굉장히 좋아서 남양주에 있는 수종사에 다녀왔다. 지난 겨울부터 날씨 좋아지면 꼭 수종사에 가봐야지 하고 가볍게 먹고만 있던 다짐을 드디어 이룰 수 있었다. 가는 데 얼마나 걸리려나 하고 찾아 보니 수종사에 오르락 내리락만 왕복 4시간이 조금 넘게 걸린대서 엥? 뭐지? 했는 데 아무래도 절이다 보니 산에 있어 운길산 등산 코스로 가게 되면 그 정도 걸리는 것 같다. 하지만 저질 체력인 나는 차로 갈 수 있는 거리는 최대한 차로 가도록.. 했더니 차에서부터 한 20분 정도 걸으니 수종사에 도착할 수 있었다. 하지만 다음 번에 간다면 차로 가지 않을 것 같다. 도로가 너무 비포장이야.. 수종사 입구는 절이 관광지처럼 느껴지는 매점과 공영 화장실이 있었다. 그 입구에서부터 또 열심히 올라가..

2021.05.07Me/2021

우리 엄마의 프로필 사진이 꽃인 이유

서울숲에서 맞이하는 튤립의 계절이 찾아왔다. 이맘때쯤 서울숲에 튤립을 보러 간 것은 벌써 두 번째로 내가 또 춥디 추운 겨울을 지나 봄을 맞이하고 한 살을 더 먹었다는 것을 뜻한다. 나는 아직 코찔찔이 아기인 것 같은데 어느 순간 20대의 후반에 들어섰고 서른 앞에 고작 1년 반 정도의 시간이 남아있을 뿐이다. 얼마 전에 아버지께서 꽤 고가의 가방을 선물로 주셨는 데, 아버지가 웃으시며 ' 네가 들고 다니면 가짜인 줄 알겠다. ' 라고 하셨고 나는 무슨 소리냐며, 벌써 나도 서른이라고 했더니 아주 깜짝 놀란 것 같은 표정으로 한 동안 나를 쳐다보셨다. 아직 집에서는 앞머리를 내리네 마네 하고 있는 딸이 벌써 서른을 앞두고 있다는 것에 아주 놀라셨겠지. 나도 뭔가 기분이 이상해서 어머니께 ' 엄마, 나 곧..

2021.04.26Me/2021

Clickhouse Query로 YoY(year-over-year) 구하기

BI 데이터 조회용으로 Clickhouse를 사용하고 있다 보니 Clickhouse에 저장한 주문 등의 데이터로 YoY, 또는 전월 대비 성장률 등을 구해야 할 때가 있다. 물론 Pandas를 사용해서 데이터를 가공하고 이를 Clickhouse에 넣는 것이 가장 이상적인 방법이라 생각하지만 삽질을 하다가 꽤나 쉽게 Clickhouse에서 제공하는 윈도우 함수로 YoY를 구할 수 있어 이를 소개해보려고 한다. YoY를 쉽게 구할 수 있는 쿼리를 찾다가 발견한 neighbor( )함수. 이 함수를 사용해서 YoY를 쉽게 구할 수 있었다. Clickhouse에서 제공하는 문서를 보면 추출한 데이터에서 특정 행의 몇 개 순서 앞 또는 뒤의 행의 데이터를 불러올 수 있는 함수인 것 같다. 문서 내에 neighbo..

2021.04.18Career/Data

미라클 모닝 - 할 엘로드

나는 회사에서 소규모의 독서 모임을 하고 있다. 대학생 때 부터 독서 모임을 나가서 여러 사람들과 책에 대한 대화를 나누는 것을 좋아했는 데 회사를 다니다보니 시간을 내서 독서 모임을 간다는 것이 생각보다 어렵다는 것을 느꼈다. 그리고 회사에 대해 고민이 많을 때 즈음 이에 대해서 같이 고민할 수 있는 같은 회사 사람이 있으면 어떨까 하는 생각에 작게 회사 내에서 독서 모임을 만들었다. 미라클 모닝은 그 모임에서의 동료 분이 추천해주어 읽게 된 책이다. 사실 책에 대한 내용은 전반적으로 알고 있었다. 베스트 셀러가 된 이후에 많은 사람들의 간증(?) 영상이 유투브에서 알고리즘을 타고 내게로 왔기에 몇 번 본 적이 있었기 때문이다. 하지만 보면서도 ' 와.. 새벽 4시에 어떻게 일어나지? ' 하는 생각을 ..

2021.04.08Review/Books

왜 Clickhouse 인가?

왜 Clickhouse 인가? 현재 회사에서 진행하고 있는 프로젝트는 내부에 있는 데이터를 자유롭게 조회하고, 가공할 수 있는 플랫폼을 제작하는 일인데 대부분 Business Intelligence를 위한 데이터를 저장하고 이를 다양한 viewer로 저장할 수 있게끔 한다. 이 과정에서 우리는 데이터 저장소를 Clickhouse로 결정했다. ( Clickhouse는 일종의 DB이다. PostgreSQL 같은.. 다 알겠지만.. ) Clickhouse를 사용한 이유는 2가지가 있었다. 1. BI용으로 데이터를 분석하기 위해서는 대부분 2-3년 정도의 추이를 보며 인사이트를 발견할 수 있어야 하는 데 일반 RDBMS로는 데이터 용량이 너무 커지거나 ES 같은 장치로는 저장 기간이 너무 짧았다. 근데 clic..

2020.12.16Career/Data

2020.11.01

2020.11.01 11월의 첫 번째 시작은 Pandas 공부와 함께 했다. 정말 오랜만에 예전 동료를 만나서 함께 공부를 하기로 했고, 합정역에서 만나 맛있는 점심을 먹고 스타벅스에 왔다. 아직 11월이 막 시작했을 뿐인데, 스타벅스에서는 벌써 캐롤이 나오고 크리스마스 굿즈가 나왔다. 괜시리 기분이 막 들뜨기 시작한다. 벌써 크리스마스라니! 오늘의 공부는 그다지 잘 되지 않았다. 다음 주 부터는 교육에 다닐 것이고, 수요일이면 새로운 팀으로 이동할 것이고, 새로운 업무 방식을 하게 될 수도 있다. 그 마음 때문인지, 집중하기가 어려웠다. 너무 걱정하지말고 달라지는 것은 없으니 앞으로도 더 열심히 공부하고 배워야겠다!

2020.11.01Me/2020