글을 적기에 앞 서, 이 글은 저의 생각에 대해 정리한 글입니다. 언제든지 피드백해주시면 감사합니다 😆 주요 업무 분석 주요업무 • 데이터 분석 플랫폼 개발 및 운영 • NHN DATA에서 운영 중인 다양한 서비스의 데이터 수집 및 분석활동 • 글로벌 데이터 솔루션 비지니스 개발 및 운영 NHN DATA 의 주요 업무를 살펴보면 데이터 분석 플랫폼을 개발하고 운영하는 업무를 한다고 되어있다. NHN DATA 의 도메인에 대해서 알아야할 필요가 있어보였다. NHN DATA 는 다양한 서비스의 데이터를 가져와 분석해서 보여주는 서비스를 하고 있는 것으로 알고 있다. 때문에 다양한 서비스의 데이터를 수집하고 분석하는 활동을 주로 하는 것으로 보인다. 그리고 글로벌 데이터 솔루션 비즈니스를 개발하고 운영한다고 ..

데이터 엔지니어가 되기 위해 준비하고 있는 과정에서 데이터 엔지니어에 대해서 이해가 부족하다고 생각되어 정리해보는 시간을 가졌다. 데이터 엔지니어가 하는 업무에 대해서 분석해서 정리하고 있지만 데이터 엔지니어가 어떤 직무이고 어떤 업무를 해야하는지 이해가 많이 부족하다는 생각이 들었고 조금 더 시간이 필요하다고 생각했다. 그래서 여러 블로그를 통해 이해한 내용에 대해서 정리해봤다. 최근 면접을 통해 데이터 엔지니어의 관점에서 어떤 질문을 해야하는지에 대해서 혼란스러웠던 경험이 있다. 그 때 나는 내가 데이터 엔지니어라는 직무에 대해서 아직 이해가 부족하구나 하는 생각이 들었다. 데이터 엔지니어는 어떤 업무를 하고 있고 어떤 관점에서 업무를 하는 걸까? 데이터 엔지니어 (Data Engineer) 이전에는..

글을 적기에 앞 서, 이 글은 저의 생각에 대해 정리한 글입니다. 언제든지 피드백해주시면 감사합니다 😆 주요 업무 분석 주요업무 - 데이터 흐름 및 파이프라인 설계, 개발 및 운영 자동화 - 데이터팀 내외 협업 및 테스트, 배포 프로세스 자동화 - 머신 러닝, 알고리즘 등을 활용한 데이터 기반 서비스 개발 및 운영 - Data Warehouse 개발 및 운영 - 실시간 데이터 처리 개발 주요 업무에 대해서 확인해보면 자세하게 어떤 업무를 한다기보다는 큰 틀로 구분해서 적어놓은 것처럼 보인다. 데이터 워크플로우와 파이프라인을 설계하고 개발하고 운영 자동화 이 부분은 데이터 엔지니어라면 기본적으로 해야하는 업무라고 생각한다. 데이터팀 내외 협업 및 테스트, 배포 프로세스 자동화 데이터는 다른 부서와의 협업이..

글을 적기에 앞 서, 이 글은 저의 생각에 대해 정리한 글입니다. 언제든지 피드백해주시면 감사합니다 😆 쏘카(SOCAR) 에서는 어떤 데이터 엔지니어를 원할까? 주요 업무 분석 주요업무 [담당하시게 될 업무를 소개합니다] • 핵심 목표 : 전사 데이터 파이프라인, 마트 구축을 통한 사내 구성원들의 업무 효율 개선 • 주요 업무 • AWS Aurora DB의 운영 데이터와 서버/앱 로그 데이터를 Google Cloud Platform BigQuery로 적재 • 적재 과정에서 Airflow, dbt 등 다양한 도구를 이용해 안정적이고 최적화된 운영 및 관리 • 외부 팀과 데이터 관련 협업 및 필요시 데이터 업무 지원 • 데이터 분석을 더욱 쉽게 할 수 있는 마트 테이블의 집합체인 "소다 스토어" 구축 및 유..

글을 적기에 앞 서, 이 글은 저의 생각에 대해 정리한 글입니다. 언제든지 피드백해주시면 감사합니다 😆 에이블리코퍼레이션 에서는 어떤 데이터 엔지니어를 원할까? 주요 업무 분석 주요업무 • 서비스 DB와 유저 기기에서 발생하는 여러 데이터가 잘 흐르도록 파이프라인을 설계하고 개발하는 업무를 담당해요. • 처리량 증대를 위해 파이프라인을 지속적으로 개선하고, 안정적인 데이터 플랫폼을 구축하는 업무를 담당해요. • 데이터 플랫폼 설계부터 개발, 운영까지 모든 과정에 참여해요. 주요 업무에 대해서 상세하게 적혀있다기보다는 크게 업무를 분류해서 적어놓은 듯해 보였다. 그래도 하나씩 보면서 분석해봤다. 1. 서비스 DB 와 유저 기기에서 발생하는 여러 데이터가 잘 흐르도록 파이프라인을 설계하고 개발하는 업무를 담..

글을 적기에 앞 서, 이 글은 저의 생각에 대해 정리한 글입니다. 언제든지 피드백해주시면 감사합니다 😆 티빙(TVING) 에서는 어떤 데이터 엔지니어를 원할까? 주요 업무 분석 우선, 주요 업무를 확인해봤다. 주요업무 - 데이터 기반 의사 결정을 위한 기반 마련 - 데이터 파이프라인 및 웨어하우스 구축 - 데이터 마트 구성 및 분석가 지원 - ElasticSearch 기반의 검색 시스템 개발 - 다양한 소스의 데이터 적재 및 가공 - 데이터 마트 기획 및 구축, 운영 - 검색 모델 개선 및 품질 향상 - 자동 완성, 인기 검색어, 연관 검색어 개발 - 추천 시스템과 연동한 시스템 개발 업무가 엄청 많아 보인다 하나씩 뜯어가며 생각해보자! 1. 데이터 기반 의사 결정을 위한 기반 마련 / 데이터 파이프라인..