쏘카(SOCAR) - Data Warehouse Engineer

글을 적기에 앞 서,
이 글은 저의 생각에 대해 정리한 글입니다. 
언제든지 피드백해주시면 감사합니다 😆

---

쏘카(SOCAR) 에서는 어떤 데이터 엔지니어를 원할까?

주요 업무 분석

주요업무
[담당하시게 될 업무를 소개합니다]
• 핵심 목표 : 전사 데이터 파이프라인, 마트 구축을 통한 사내 구성원들의 업무 효율 개선
• 주요 업무
• AWS Aurora DB의 운영 데이터와 서버/앱 로그 데이터를 Google Cloud Platform BigQuery로 적재
• 적재 과정에서 Airflow, dbt 등 다양한 도구를 이용해 안정적이고 최적화된 운영 및 관리
• 외부 팀과 데이터 관련 협업 및 필요시 데이터 업무 지원
• 데이터 분석을 더욱 쉽게 할 수 있는 마트 테이블의 집합체인 "소다 스토어" 구축 및 유지 보수
• 이런 생각하며 일합니다
• “쏘카에서 근무하고 계신 분들이 많이 파악하는 데이터는 무엇일까? 해당 데이터를 쉽게 사용할 수 있도록 어떻게 표준화해서 마트로 만들 수 있을까?”
• “반복적으로 사용하는 SQL 쿼리가 있을까? 있다면 주기적으로 Table로 저장하면 어떨까?”
• “특정 도메인에 맞는 마트를 만들기 위해선 어떻게 해야할까? 해당 도메인에서 중요하게 보는 것은 무엇일까?”
• “Aurora DB의 데이터를 주기적으로 옮기기 위해 어떤 방식으로 구현해야 효율적일까?

쏘카의 주요 업무에 대해서 다르다고 생각했던 부분은 어떤 생각을 하며 일을 하고 있는지에 대해서 적어놓았다는 점이다.
지원하게 될 팀에서 어떤 생각을 가지고 일을 하고 있는지에 대해서 적어놓아서 그런지
어떤 업무를 하고 어떤 생각으로 하는지에 대해서 더 와닿았던 것 같다.

 

직무 이름에서 데이터 웨어하우스 엔지니어라는 이름과 같이 핵심은 다음과 같았다.
"전사 데이터 파이프라인, 마트 구축을 통한 사내 구성원들의 업무 효율 개선"
그리고 주요 업무에 대해서 적어놓았는데 하나씩 확인해봤다.

 

운영 데이터와 서버/앱 로그 데이터가 AWS Aurora DB 에 쌓이고 있고 그 데이터를 GCP BigQuery 로 적재한다.

Row 데이터는 AWS Aurora DB 에 쌓이고 있고 쌓이는 데이터를 가공하고 적재해서 GCP BigQeury 라고 하는 데이터 웨어하우스에 적재한다. 어떤 도구를 사용해서 어떻게 적재할지에 대해서도 아래에 적혀있다.

 

적재 과정에서 Airflow, dbt 등 다양한 도구를 이용해서 안정적이고 최적화된 운영 및 관리를 한다.
GCP BigQuery 라고 하는 데이터 웨어하우스에 적재하기 위해서 Airflow dbt 등의 다양한 도구를 사용하고 있는 것으로 보인다.
데이터를 가공하고 적재하기 위해서 Workflow 를 생성하고 스케줄링하는데 있어 어떻게 안정적이고 최적화를 시킬 수 있을 것인지에 대해서도 많은 생각을 해봐야할 것 같다.

 

그리고 외부 팀원들과의 데이터 관련 업무에 대해서 협업이 많이 이루어지고 있는 것으로 보인다.
어떻게보면 데이터를 가공하고 다시 적재해서 비즈니스 또는 분석에 사용하기 위한 데이터를 만드는 업무를 하다보니 당연한 업무라고 생각되었다. 그렇기 때문에 외부 팀에서 원하는 데이터를 어떻게 만들어낼 수 있을지에 대한 고민도 많이 해봐야하고 외부 팀원들과의 소통도 많이 필요해보였다.

 

그리고 데이터 분석을 쉽게 할 수 있는 마트 테이블의 집합체인 "소다 스토어" 를 구축하고 유지보수한고 되어있다.
가공하고 적재된 데이터를 가져와 한눈에 볼 수 있도록 플랫폼을 구축하고 제공하고 있는 것으로 보이는데 어떻게 데이터를 보여주고 제공하는지 너무 궁금했다.

 

그리고 마지막으로 팀원들이 어떤 생각을 가지고 업무에 임하는지에 대해서 적혀있었다.

• “쏘카에서 근무하고 계신 분들이 많이 파악하는 데이터는 무엇일까?”
• “해당 데이터를 쉽게 사용할 수 있도록 어떻게 표준화해서 마트로 만들 수 있을까?”
• “반복적으로 사용하는 SQL 쿼리가 있을까? 있다면 주기적으로 Table로 저장하면 어떨까?”
• “특정 도메인에 맞는 마트를 만들기 위해선 어떻게 해야할까? 해당 도메인에서 중요하게 보는 것은 무엇일까?”
• “Aurora DB의 데이터를 주기적으로 옮기기 위해 어떤 방식으로 구현해야 효율적일까?

이런 생각을 보면서 나는 이런 생각을 가지고 일을 한적이 있을까에 대해서 생각을 해봤다.

 

위의 업무 내용보다 팀원들의 생각을 통해 어떤 업무를 하고 있는지에 대해서 더 명확해지는 것 같다.
쏘카에서 일하시는 분들이 어떤 데이터를 필요로 하는지에 대한 고민과 그 데이터를 어떻게 만들 수 있는지에 대한 고민들
반복적으로 사용하는 쿼리를 어떻게 효율적으로 사용할 수 있을지에 대한 고민들
특정 도메인에서 어떤 데이터가 중요한지 어떻게 만들 수 있는지 그리고 데이터를 주기적으로 옮기기 위해서 어떻게 해야 효율적인지

나도 한번 고민해봐야겠다!

 

자격 요건 확인

[이러한 분과 함께 성장하고 싶습니다]
• 공유와 소통이 생활화되어 있고, 항상 성장을 위해 고민하시는 분
• SQL 중급, Python 등 프로그래밍 능력은 초급 수준을 기대합니다.
• 데이터 분석팀 및 유관 부서와의 원활한 소통이 가능해야 합니다.
• 인프라, 개발, 지표 관리등의 다양한 업무에 두려움이 없고 즐겁게 경험해보고 싶으신 분 (업무에 적응할 수 있게 도와주실 기존 팀원 분들이 든든하게 대기 중)

자격 요건으로는 공유와 소통이 생활화 되어있고 항상 성장을 위해 고민하시는 분!
그리고 SQL 중급, Python 등 프로그래밍 능력은 초급 수준을 기대합니다!
다른 팀과의 원활한 소통이 가능해야하고 다양한 업무에 두려움이 없고 즐겁게 경험해보고 싶으신 분! 이라고 한다.

 

아무래도 외부 팀원들이 원하는 데이터를 가공해서 적재하는 업무를 주로 하는 것처럼 보이고
그렇다보니 다른 부서와의 소통이 원활해야 업무를 할 수 있을 것 같아 보였다.

 

우대 사항 확인

[이러한 분이면 더욱 좋습니다]
• AWS, GCP 등 클라우드 서비스의 인프라 또는 솔루션을 업무에 활용한 경험이 있으신 분
• 대용량 / 실시간 데이터 처리 아키텍처를 구축한 경험이 있으신 분
• 오픈소스에 거부감이 없는 분
• BI를 위한 마트 테이블 생성, 유지 보수 및 데이터 시각화 도구에 대한 지식을 보유하신 분
• 논리 데이터 모델링을 수행하신 분
• SQLP, DAP 소지자 및 운영위원, 데이터 컨설턴트 경험이 있으신 분

우대 사항으로는 아무래도 AWS Aurora DB 에 데이터를 적재하고 있고 GCP BigQuery 에 데이터를 적재하고 있기 때문에
AWS 나 GCP 의 클라우드 서비스의 인프라를 사용해본 경험이 있으면 좋을 것 같다.

 

대용량 / 실시간 데이터 처리 아키텍처를 구축한 경험이 있는 사람!
적지 않은 데이터가 서비스 운영 DB 에 쌓일텐데 그 많은 데이터를 처리하기 위한 아키텍처에 대한 경험이 있는 사람을 선호할 것 같다.
오픈 소스에 거부감이 없는 분 그리고 BI 를 위한 마트 테이블 생성, 유지보수 및 데이터 시각화 도구에 대한 지식을 가진 사람
논리 데이터 모델링을 해본 사람
SQL 자격증 소지자 및 운영위원, 데이터 컨설턴트 경험이 있는 사람

 

확실히 여러 기업의 데이터 관련 업무에 대해서 분석을 하다보면
한 가지에 특화된 사람보다는 많은 경험을 해본 사람을 우대한다는 생각이 든다.
어떻게 보면 당연한 말이긴 하지만 특히 데이터 관련 업무에서는 데이터와 관련된 다양한 도구나 구축 경험이 많은 부분을 차지하는 것 같다.
그리고 쏘카 데이터엔지니어링팀과 함께 한다면 이러한 경험들도 해볼 수 있다는 점이 생각보다 재미있어 보였다는 점 ㅎㅎ

 

동료들의 한마디

[동료의 한마디]
• O2O 비즈니스의 데이터는 정말 매력적이라고 생각합니다. 온라인/오프라인 통합 데이터를 활용하여 재밌는 문제들을 풀 수 있는 환경을 구축하는 것은 대한민국 어디에서도 쉽게 하지 못할 경험일 거에요. 함께 합시다!
• 저희 팀은 GCP에 자체 클러스터를 보유하고 있으며, 인프라부터 애플리케이션까지 모든 부분을 직접 다루고 있습니다. 폭넓은 기술 스펙트럼에 관심이 많고, 데이터 팀들과 협업하며 프로덕트를 만들고 싶으신 분들에게 매력적인 팀일 거라 확신합니다
• 쏘카 데이터엔지니어링팀에 합류하시면 데이터의 시작과 끝을 모두 경험하실 수 있습니다. 데이터를 어떻게 가공하고 어떻게 변화하고 적재 할 지를 고민할 수 있고 경험하실 수 있으며, 경험 많은 팀원들에게 조언도 구할 수 있습니다. 다양한 분야에서 다양한 경험을 쌓은 팀원들과 함께 일하세요!
• 쏘카는 차량을 직접 구매하여 소유하고 그 차량을 관리 및 공유하는 비즈니스입니다.
단순하게 서비스 데이터만 있는 것이 아니라서 일반 서비스 플랫폼과는 다르게 독특한 데이터 처리 경험을 해보실 수 있습니다.
• 쏘카는 차량 관련 데이터 뿐만 아니라 고객 및 서비스 데이터와 오픈 데이터도 다루고 있으며. 데이터엔지니어링팀은 이러한 데이터들을 어떻게 효율적으로 전달하고, 적재하고, 보여줄지를 고민 합니다. 함께 이런 고민을 하고 데이터엔지니어링 역량을 기를 분들을 찾습니다. 저희와 함께해요!
•쏘카 데이터엔지니어링팀의 다른 회사의 팀과의 차별점은 데이터 관련 오퍼레이션 전반을 담당하는 것이라고 생각합니다. 주로 많이 하시는 데이터 파이프라인 운영 및 개발부터, 지표 생성, 데이터 애플리케이션 개발, 데이터 인프라 운영, MLOps까지 폭넓은 분야의 경험을 하실 수 있습니다. 데이터 엔지니어링 분야의 엔드투엔드를 만들어 나가고 싶으신 분들이라면 오시길 바랍니다.

쏘카에서는 재밌는 부분이 동료들의 한마디를 적어놓았다.

 

하나하나 읽어보았다.
정말 드는 생각은 어디에서나 쉽게 하지 못할 경험을 할 수 있다는 점과 데이터 분야에서 다양한 경험을 쌓을 수 있다는 점이 좋았다.
이렇게 한마디 한마디가 정말 진심이신 분들이구나! 하는 생각도 들었다 ㅎㅎㅎㅎ

 

쏘카(SOCAR) 가 원하는 데이터 엔지니어

마지막으로 쏘카에서 원하는 데이터 엔지니어는 다양한 경험을 하기를 원하고 데이터와 관련된 모든 부분을 하고 싶어하는 사람!
그리고 쏘카 데이터 엔지니어링팀 팀원들의 고민을 같이 해나갈 사람을 원하고 있는 것 같다.
이 채용 공고를 분석하면서 나도 이런 고민을 해본 적이 있을까? 하는 의문을 가지게 되었고
데이터 관련 업무를 하면서 어떤 생각으로 일을 해야하는지? 에 대한 생각을 해볼 필요성을 느꼈다.

 

쏘카에서는 다양한 업무를 하기 때문에 다양한 경험을 필요로 하고 있고 어떤 기술을 사용하고 있는지에 대한 정확한 명세는 되어있지 않아 보이지만 어떻게 일을 하고 있는지에 대해서는 명확하게 느껴졌던 것 같다.

 

정말 하나부터 열까지 데이터와 관련된 모든 경험을 해보고 싶다면 쏘카에서 일해보는 것도 재미있겠다 라는 생각이 들었다.