앤유 사전 질문 및 면접 후기
2023. 5. 11. 17:10
제이로그/면접후기
며칠 전 NYOU (이하 앤유) 라는 게임 회사에 서류를 제출하게 되었고 서류 합격 이후 사전 질문과 함께 1차 면접을 준비하게 되었다. 면접을 보기 전 메일을 통해 사전 질문에 대한 내용을 받아 과제를 진행했다. 서류 합격이라는 연락이 오고 1차 면접은 3일 뒤로 결정되었기 때문에 날짜를 최대한 효율적으로 분배해서 빠르게 사전 질문에 대한 답안을 작성하고 남은 시간동안 면접 준비를 하자! 라고 생각했던 것 같다. 데이터 레이크에 관한 사전 질문이 주어졌는데 우선 수집할 데이터들에 대한 이해부터 해나아갔다. 어떤 데이터를 수집하려고 하고 데이터가 어디에 저장되어있고 어떻게 가져와야할까 하는 생각을 시작으로 지금까지 내가 공부하고 경험했던 내용을 토대로 하나씩 만들어갔던 것 같다. 그래도 어느 정도 큰 그..
GCP DialogFlow 문제로 프로젝트 삭제 안됨
2023. 5. 4. 10:03
Cloud/GCP
구글 클라우드 플랫폼에서 공부하면서 사용했던 프로젝트를 지우려고 보니 선취권과 관련된 내용과 함께 프로젝트를 삭제할 수 없다는 메시지가 나왔다. 내용을 캡쳐해놨어야하는데... ... Deletion blocked by Dialogflow. ... 그래서 해당 내용에 대해서 찾아보니 다음과 같이 에러를 해결했고 프로젝트를 삭제할 수 있었다. 먼저 구글 클라우드 플랫폼에 접속해서 우측 상단에 있는 버튼을 통해 Cloud Shell 을 활성화한다. 접속해서 프로젝트 ID 를 통해 Cloud Shell 에서 사용할 프로젝트를 설정해준다. gcloud config set project [PROJECT_ID] 그리고 아래의 명령어를 통해 리소스 매니저의 선취권 리스트를 확인할 수 있다. gcloud alpha re..
Mysql 8 버전 Sequal Pro 접속 에러
2023. 4. 14. 10:58
데이터 엔지니어링/Database
도커로 Mysql 8 버전을 설치하고 Sequal Pro 에서 접속하려고 하니 다음과 같은 에러가 발생했다. 이 문제의 원인은 Mysql 8버전부터는 비밀번호의 암호화 방식이 달라져서 생기는 문제라고 한다. 그래서 Sequal Pro 에서는 변경된 암호화 방식이 적용되지 않아 문제가 발생한 것으로 보이고 DBeaver 에서는 정상적으로 접속이 되는 것을 확인할 수 있었다. 만약 sequel pro 를 써야한다면 다음과 같이 2가지 방법을 통해서 해결할 수 있다고 한다. mysql 접속 후에 root 계정의 패스워드를 mysql_native_password 방식의 비밀번호로 변경해준 후에 사용할 수 있다고 한다. 다음과 같이 예를 들어 사용해볼 수 있다. ALTER USER 'admin'@'%' IDENT..
버즈빌 사전 과제 그리고 실무 면접 후기
2023. 4. 5. 16:01
제이로그/면접후기
3주 전 버즈빌 데이터 엔지니어에 지원했고 서류 합격이라는 메일과 함께 사전 과제 전형이 진행되었다. 사전 과제 기간이 미리 주어지는 것이 아니라 일주일이라는 시간이 주어졌고 언제부터 사전 과제를 시작할 수 있는지 일정을 내가 정할 수 있다는 점이 좋았던 것 같다. 그래서 나는 주말에 쉬고나서 월요일부터 사전 과제를 안내받아 진행하게 되었다. 사전과제를 받고나서 살펴보니 내가 정말 다뤄보고싶었던 Airflow 에 대한 사전 과제가 주어져 재미있겠다는 생각이 들었다. 먼저 주어진 사전 과제에 대해서 어떤 문제인지 이해를 하기 위해 분석하기 시작했다. 솔직하게 과제를 분석하면서 느꼈던 점은 사전 과제에서 원하는 답이 무엇인지 정확하게 파악이 어려웠던 것 같다. 그래서 이해가 잘 되지 않으면 문제를 다시보고 ..
Docker dangling image 삭제하기
2023. 3. 29. 17:09
DevOps/Docker
도커에서 동일한 태그를 가진 이미지를 빌드할 경우 기존에 있던 이미지는 삭제되지 않고 tag 가 으로 변경된 상태로 남아있게 된다. 아래의 사진을 보면 mysql 5.7 버전을 다시 빌드했을 때 기존에 있던 이미지의 태그가 으로 변경된 것을 확인할 수 있다. 이렇게 더 이상 컨테이너에 연결되지 않고 태그가 없어진 이미지를 Dangling image 라고 한다. 이러한 dangling 이미지를 그대로 방치하게 되면 파일 시스템의 용량을 차지하게 되고 이미지를 확인하는데 불편함이 생길 수 있다. 따라서, dangling 이미지를 조회하고 삭제하려고 한다. dangling image 는 다음과 같이 조회할 수 있다. -f 옵션 은 필터를 지정하는 옵션이다. 따라서 필터를 통해 dangling 의 값이 true..
HDFS 블록(Block) 이해하기
2023. 3. 29. 16:13
데이터 엔지니어링/Hadoop
블록(Block) 이란 일반적으로 물리적인 디스크는 블록 크기 란 개념이 있다. 블록 크기 는 한 번에 읽고 쓸 수 있는 데이터의 최대량이다. 보통 파일 시스템의 블록 크기는 수 킬로바이트이고 디스크 블록의 크기는 기본적으로 512 바이트이다. HDFS Block HDFS 의 블록은 기본적으로 128MB 와 같이 매우 큰 단위이다. HDFS 의 파일은 단일 디스크를 위한 파일시스템처럼 특정 블록 크기의 청크로 쪼개지고 각 청크는 독립적으로 저장된다. 단일 디스크를 위한 파일시스템은 디스크 블록 크기보다 작은 데이터라도 한 블록 전체를 점유하지만 HDFS 파일은 블록 크기보다 작은 데이터일 경우 전체 블록 크기에 대한 하는 하위 디스크를 모두 점유하지 않는다. HDFS 블록이 큰 이유 HDFS 블록이 디스..
HDFS HA 구성 이해하기(2)
2023. 3. 29. 16:03
데이터 엔지니어링/Hadoop
이전 포스팅에 이어 계속해서 정리해보았다. Apache Hadoop 3.3.5 – HDFS High Availability
HDFS HA 구성 이해하기(1)
2023. 3. 29. 15:46
데이터 엔지니어링/Hadoop
아래의 문서를 참고해서 정리해봤다. 이 문서는 하둡 3.3.5 버전 을 기준으로 작성되어있다. 영어로 작성되어있어 공부할겸 열심히 해석해가며 정리해보았다. Apache Hadoop 3.3.5 – HDFS High Availability
백트래킹(Backtracking)
2023. 3. 18. 17:52
알고리즘/개념정리
백트래킹(Backtracking) 이란 백트래킹 이란 모든 경우의 수를 전부 고려하는 알고리즘 이다. 조금 더 자세하게 말하자면 현재 상태에서 가능한 모든 후보군을 따라가며 해결책에 대한 후보를 구축해 나아가다 가능성이 없다고 판단되면 즉시 후보를 포기하면서 정답을 찾아가는 범용적 알고리즘이라고 한다. 상태 공간을 트리로 나타낼 수 있을 때 적합한 방식이다. 일종의 트리 탐색 알고리즘이라고 봐도 된다. 백트래킹을 사용해 해결할 수 있는 문제는 주로 검색, 의사 결정, 최적화, 열거하기 등의 문제가 있다. 사실 백트래킹은 사용 가능한 경우가 많지만 시간복잡도가 보통 $2^n$ 이기 때문에 대부분의 문제는 동적 프로그래밍 또는 그리디 알고리즘 등으로 더 빠르게 해결할 수 있다. 그렇다고해서 백트래킹을 사용하..
피보나치 수 (Fibonacci numbers)
2023. 3. 17. 10:59
알고리즘/개념정리
피보나치 수 (Fibonacci numbers) 아마도 예전에 수학 시간에 배울 만큼 잘 알고 있는 수라서 모르는 사람이 많지 않을 것이라고 생각한다. 위키에서 정의한 피보나치 수는 다음과 같다. 첫 번째 숫자와 두 번째 숫자가 주어지고 세 번째 숫자 부터는 앞의 두 숫자의 합으로 구할 수 있다. 예를 들어, F(1) = 1 , F(2) = 1 일 때 F(3) = F(1) + F(2) 가 된다. 반복하게 되면 1, 1, 2, 3, 5, 8, ... 의 수열이 만들어진다. 참고 사이트 https://ko.wikipedia.org/wiki/%ED%94%BC%EB%B3%B4%EB%82%98%EC%B9%98_%EC%88%98 피보나치 수 - 위키백과, 우리 모두의 백과사전 위키백과, 우리 모두의 백과사전. 피보..