Pandas로 MongoDB 데이터 쉽게 옮기기

MongoDB에 있는 데이터를 추출하여 Redshift에 적재하여야 하는 경우가 있었는 데, 그 때 당시에 고민 했던 부분에 대해서 기록을 남겨둔다. 일단 MongoDB와 RDBMS는 특성이 조금 다른 DB라고 볼 수 있는데 MongoDB는 스키마에 대한 제약 사항이 없어 원하는 컬럼을 자유자재로 추가, 삭제할 수 있다. 굳이 따지자면 컬럼 형태라기 보다는 Key에 가깝다고 해야 하나.. 이러한 특징으로 Document-oriented DB라 불린다. 반면에 Redshift는 스키마의 제약을 받는다. 테이블을 생성할 때 만들어둔 컬럼에 대해서만 데이터를 삽입할 수 있으며, 데이터의 타입 또한 지정되어있어 해당 컬럼에 해당 타입이 아닌 데이터는 삽입이 불가능하다. 이 두 가지 DB에서의 데이터를 연결하여야..

2022.07.21Career/Python&Airflow

Hive 기본 세팅에 대하여

현 회사에서 Hive를 이용한 데이터 마트 제작, 데이터 파이프라인 제작 등을 할 때 가장 기본으로 세팅해두는 Hive 설정들이 있는데 이 설정들이 각기 무엇을 위한 설정인지 알아보고 사용하는 것이 좋을 것 같아 한 번 정리해본다 😉 아래 설정은 팀에서 Hive를 이용한 데이터 마트 제작 코드에서 가져온 기본 설정 값으로 데이터 양이나, 집계 여부 등.. 에 따라 설정 값은 달라질 수 있다. SET hive.execution.engine=tez; SET hive.vectorized.execution.reduce.enabled=false; SET hive.vectorized.execution.enabled=false; SET hive.exec.compress.output=true; SET hive.exec..

2022.07.20Career/etc

R을 이용하여 계절성 검증하기

계절성 파악, 왜 하는 걸까? 수요 예측이 가능하다 → 정밀한 공급 계획이 가능하다 수원시 화장시설의 이용률의 계절성을 분석하여 화장 수요를 예측 중앙선의 월별 수송실적자료의 계절성을 분석하여 여객수송수요 예측 * 위 논문에서 많이 등장하는 ARIMA란 ? Auto-regressive Integrated Moving Average 모형은 시계열 데이터 기반 분석 기법으로 많이 사용되는 모델 R의 Seasonal Plot을 이용한 계절성 검증 1. 들어가기 전에 a. 데이터를 tsibble 형태로 변환하여 시계열 분석이 쉽도록 한다. b. tsibble : tibble 객체를 이용하여 시계열 데이터를 잘 다룰 수 있도록 조정한 객체 c. tibble : R의 전통적인 데이터 구조인 DataFrame을 변환..

2022.07.19Career/Data

[JAVA] 디폴트 생성자란?

개발을 하고 싶진 않지만.. 개발을 배우게 되었다. 말 하나하나가 다 어려운 데 일단 하나씩 배워보고 기록해보자. spring batch에 대해서 공부하다 '디폴트 생성자' 라는 용어가 나왔는 데 쉬이 이해가 되지 않았다. '디폴트 생성자' 란 무엇인가? 쉽게 보자면 생성자가 없는 메소드를 구현하였을 때 컴파일할 수 있도록 자바가 자동으로 생성해는 생성자를 '디폴트 생성자' 라고 부르는 것 같다. 위와 같이 생성자가 없는 클래스를 구현하고 메인 함수에서 new Coke() 메소드를 호출하면 생성자가 없음에도 불구하고 메소드가 호출된 것을 확인할 수 있다. 그 이유는 자바가 해당 클래스에 디폴트 생성자를 생성해주었고 그를 호출했기 때문이다. 하지만 모든 클래스에 디폴트 생성자를 생성해주지는 않는다. 아래와..

2022.05.09Career/etc

[Airflow] HiveOperator

hive DB 내 데이터를 꺼내 가공 후 집계 테이블을 제작하기 위해 hive 쿼리를 주기적으로 수행해주는 스케쥴링 작업이 필요하여 airflow를 이용해보고자 하였다. 마침 airflow에는 특정 hive database에서 hql이나 코드를 수행해주는 hiveOperator가 있기에 해당 Operator를 이용해보았다. from airflow.operators.python_operator import HiveOperator dag = DAG( 'ppa_pbs_data_onboarding_selection_tagging_items_daily_v1', schedule_interval="@once", max_active_runs=1, default_args=default_args ) create_sampl..

2021.12.26Career/Python&Airflow

matplotlib로 그래프 그려 성장 추이 찾기

글로벌 지수를 보기 위해서 자국 간 배송을 제외하고 국내에서 해외로 배송이 되는 주문 건수의 추이를 보고 어떤 국가로의 판매가 성장하고 있는 지 확인하고자 했다. 월별 성장률을 구하는 등으로 성장 추이를 할 수 있지만 여러 개의 변수의 값에 따른 추이를 한 눈에 보고 성장 추이를 확인하고자 하였기에 matplotlib을 이용하여 변수에 따른 그래프를 그리도록 해보았다. DataFrame으로 구성된 값을 배열로 만들어 해당 배열 값을 넣어 for문이 돌면서 그래프를 그릴 수 있도록 했다. 사실 변수의 값은 훨씬 더 다양하지만 그래프는 일단 16개만 그리기로... 이렇게 하니 어떤 국가로의 주문 건이 많이 늘어나고 있는 지 줄어들고 있는 지 또는 무의미한지, 또 급격하게 성장하는 지 완만하게 성장하는 지 등..

2021.09.02Career/Data

마지막 접속 일자 데이터 체크 하기

최근에 마지막 로그인 로그로 휴면 예정 회원을 찾아 휴면 예정 회원이 많아지거나 활동 회원율 비중이 낮아지는 경우 액션을 취할 때 사용할 지표를 제작하였는 데, 이 때 당시에 데이터를 만들면서 로그 데이터 오류를 찾는 방법 중 하나를 간단하게 기록해볼까 한다. 굉장히 간단하고.. 누구나 다 알 수 있는.. 🙄 바로, 특정 목표로 가기 위한 사용자 행동을 우리 회사에서는 저니(journey)라고 하는 데, 이 동일한 저니에 있는 액션의 데이터와 비교하는 것이다. 마지막 로그인 접속 일시가 오늘로부터 11개월 이전인 회원을 찾아 리마인드 컨설팅을 하기 위해서 마지막 로그인 접속 일시 데이터를 적재했다. 하지만 적재하는 것에서 끝이 아니라 이제 데이터를 체크해야지 하고 지표를 한 번 만들어보았다. 특정 한 개..

2021.07.26Career/Data

Clickhouse Limit by 구문으로 최신 데이터 불러 오기

DB에 데이터를 넣는 구성 중에서 Base datetime이 중요한 지 이전에는 몰랐었는 데, 이 기준에 따라서 생각보다 데이터를 보는 법에 차이가 많다. 같은 모양의 데이터 소스더라도 Base time이 다르면 완전히 다른 데이터가 되기 때문에 추출, 적재 기준을 잘 살펴봐야 한다. 데이터의 특성에 맞게 시계열 데이터, 또는 스냅샷 데이터 등 다양한 기준으로 데이터를 가져오는 데 보통은 시계열 데이터를 보지만 여러 가지 이유로 ( e.g. timestamp 기준이 없다거나.. ) 추출 당시의 상태를 사진을 찍듯이 찰칵 찍어서 데이터를 가지고 오는 스냅샷 데이터를 보기도 한다. 스냅샷 데이터를 일별로 누적해서 적재하는 경우 가장 최신의 데이터를 보고 싶을 때 사용하는 방법이 여럿 있는 데 그 중에서도 C..

2021.07.05Career/Data