키즈노트 - 데이터 엔지니어
2022. 11. 23. 18:56
제이로그/업무분석
글을 적기에 앞 서, 이 글은 저의 생각에 대해 정리한 글입니다. 언제든지 피드백해주시면 감사합니다 😆 주요 업무 분석 주요업무 - 데이터 흐름 및 파이프라인 설계, 개발 및 운영 자동화 - 데이터팀 내외 협업 및 테스트, 배포 프로세스 자동화 - 머신 러닝, 알고리즘 등을 활용한 데이터 기반 서비스 개발 및 운영 - Data Warehouse 개발 및 운영 - 실시간 데이터 처리 개발 주요 업무에 대해서 확인해보면 자세하게 어떤 업무를 한다기보다는 큰 틀로 구분해서 적어놓은 것처럼 보인다. 데이터 워크플로우와 파이프라인을 설계하고 개발하고 운영 자동화 이 부분은 데이터 엔지니어라면 기본적으로 해야하는 업무라고 생각한다. 데이터팀 내외 협업 및 테스트, 배포 프로세스 자동화 데이터는 다른 부서와의 협업이..
minikube dashboard "SVC_URL_TIMEOUT" Error
2022. 11. 22. 19:20
DevOps/kubernetes
minikube dashboard 를 실행하려고 하니 다음과 같이 에러가 발생했다. Exiting due to SVC_URL_TIMEOUT: http://127.0.0.1:59070/api/v1/namespaces/kubernetes-dashboard/services/http:kubernetes-dashboard:/proxy/ 이 접근 불가능합니다: Temporary Error: unexpected response code: 503 음.. proxy 관련해서 로컬 호스트에서 실행되고 있지 않고 docker 에서 실행되고 있어서 발생하는 문제인 것 같다. proxy 설정이나 네트워크 설정을 한번 찾아봐야 할 것 같다. URL 에 직접 들어가서 확인해보니 다음과 같이 나왔다. 엔드포인트가 없다는 메시지를 확..
minikube 명령어 정리
2022. 11. 22. 18:29
DevOps/kubernetes
minikube 에서 자주 사용하는 명령어에 대해서만 정리해봤다. 자세한 내용에 대해서는 각 명령어 뒤에 "-h" 옵션을 추가해주어 확인할 수 있다. 시작 minikube start 상태 확인 minikube status -p : profile 지정 일시정지 minikube pause 재가동 minikube unpause 종료 실행중인 minikube 를 멈춘다. 다시 실행이 가능하다. minikube stop 삭제 실행중인 minikube 를 삭제한다. 복구 불가! minikube delete
minikube 로 kubernetes 구성해보기 (MacOS)
2022. 11. 22. 18:21
DevOps/kubernetes
minikube 를 사용해서 kubernetes 를 구성해보려고 한다. 이번에 구성할 쿠버네티스 클러스터는 마스터 노드 1개와 워커 노드 2개로 구성해보려고 한다. minikube 설치는 아래의 사이트를 참고해서 설치할 수 있다. https://minikube.sigs.k8s.io/docs/start/ minikube start minikube is local Kubernetes minikube.sigs.k8s.io 설치가 완료되면 다음과 같이 상태를 확인할 수 있다. 호스트가 존재하지 않는다는 메시지가 나온다. 그럼 명령어를 통해 minikube start! minikube start 실행하게 되면 다음과 같이 docker image 를 통해 docker 컨테이너를 생성하는 것을 확인할 수 있다. Do..
이직 후 회사에서 그리고 퇴사 이야기, 회고
2022. 11. 20. 18:11
제이로그/회고
쓸까, 말까, 고민했던 이직 후 회사에서의 이야기 그리고 퇴사 이야기에 대해서 잘 다니던(?) 회사를 그만두게 된 이유와 앞으로의 인생에 대한 고민들에 대해서 담담하게 적어 내려가 보려고 한다. 매 순간 느꼈던 솔직한 감정과 생각들을 적어보았다. 4월 18일, 첫 이직을 하게 되어 서울에 올라와 첫 출근을 한 날이다. 처음 면접을 봤던 그 장소에 가서 인사담당자를 기다리며 무척 긴장했던 날이었다. 입사 선물이 담긴 종이 가방과 사원증을 들고 일을 하게 될 7층으로 향했다. 앞으로 같이 일을 하게 될 팀원분들에게 인사를 건네고 간단하게 소개를 했고 초면이라 낯을 많이 가렸던 순간이었다. 면접 때 봤었던 부장님과 팀원분 그리고 다른 한 분 까지해서 총 3명의 팀원이 있었다. 상무님과 다른 부서와의 인사를 마..
[Error] airflow.exceptions.AirflowException: The webserver is already running under PID
2022. 11. 18. 18:50
데이터 엔지니어링/Airflow
Airflow 테스트 환경을 만들고 서버를 종료했다고 생각했는데 다시 서버를 실행하려고 하니 다음과 같은 에러가 발생했다. (airflow) ~/workspace/airflow $ airflow webserver --port 8080 ____________ _____________ ____ |__( )_________ __/__ /________ __ ____ /| |_ /__ ___/_ /_ __ /_ __ \_ | /| / / ___ ___ | / _ / _ __/ _ / / /_/ /_ |/ |/ / _/_/ |_/_/ /_/ /_/ /_/ \____/____/|__/ Traceback (most recent call last): File "/Users/jaynam/workspace/airflow/..
쏘카(SOCAR) - Data Warehouse Engineer
2022. 11. 13. 21:37
제이로그/업무분석
글을 적기에 앞 서, 이 글은 저의 생각에 대해 정리한 글입니다. 언제든지 피드백해주시면 감사합니다 😆 쏘카(SOCAR) 에서는 어떤 데이터 엔지니어를 원할까? 주요 업무 분석 주요업무 [담당하시게 될 업무를 소개합니다] • 핵심 목표 : 전사 데이터 파이프라인, 마트 구축을 통한 사내 구성원들의 업무 효율 개선 • 주요 업무 • AWS Aurora DB의 운영 데이터와 서버/앱 로그 데이터를 Google Cloud Platform BigQuery로 적재 • 적재 과정에서 Airflow, dbt 등 다양한 도구를 이용해 안정적이고 최적화된 운영 및 관리 • 외부 팀과 데이터 관련 협업 및 필요시 데이터 업무 지원 • 데이터 분석을 더욱 쉽게 할 수 있는 마트 테이블의 집합체인 "소다 스토어" 구축 및 유..
Python 가상 환경에서 airflow 설치해보기
2022. 11. 5. 18:01
데이터 엔지니어링/Airflow
airflow db 구성 airflow 에서 사용할 DB 를 구성해준다. 아래와 같이 테이블을 생성해주고 유저를 생성하고 권한 설정을 해준다. CREATE DATABASE airflow CHARACTER SET UTF8mb3 COLLATE utf8_general_ci; CREATE USER 'airflow'@'localhost' IDENTIFIED BY 'your_password'; GRANT ALL PRIVILEGES ON airflow.* TO 'airflow' @localhost; CREATE USER 'airflow'@'%' IDENTIFIED BY 'your_password'; GRANT ALL PRIVILEGES ON airflow.* To 'airflow'@'%'; flush privileg..