Mysql OperationalError: (1205, 'Lock wait timeout exceeded; try restarting transaction') 에러 발생
2023. 7. 6. 11:05
데이터 엔지니어링/Database
Mysql 에서 Insert 하는 과정에서 다음과 같이 에러가 발생했다. OperationalError: (1205, 'Lock wait timeout exceeded; try restarting transaction') 메시지를 보면 알 수 있듯이 트렌젝션의 수행시간이 초과되면 Lock 이 걸리는 것을 알 수 있다. 만약 트랜젝션의 수행시간이 길다면 나누어서 실행하는 게 좋을 것 같다. 해결 방법은 다음과 같다. mysql root 계정으로 접속한다. mysql -uroot -p 다음과 같이 timeout 값을 확인해볼 수 있다. select @@innodb_lock_wait_timeout; 확인해보면 아래와 같이 innodb_lock_wait_timeout 의 값이 50초로 되어있는 것을 확인할 수 ..
레몬베이스 사전 질문 및 실무 면접 후기
2023. 7. 3. 19:06
제이로그/면접후기
두 달간의 면접 공백이 지나고 면접 기회가 찾아왔다. 서류를 제출한 지 일주일 채 되지 않아 서류 합격이라는 연락이 오게 되었고 사전 질문을 작성해서 보내달라는 연락을 받게 되었다. 사전 질문에 대한 내용이 채용 공고 맨 아래에 적혀있었는데 꼼꼼히 살펴보지 못한 내 실수였다. ㅎㅎ 그래서 곧장 사전 질문을 살펴보고 열심히 작성하기 시작했던 것 같다. 사전 질문을 작성하려고 레몬베이스에 대한 여러 정보들을 살펴보는 데 너무 자세히 설명이 되어있었고 내가 지금까지 봐왔던 기업들과는 다르게 진심이라는 게 느껴질 정도로 우와... 하면서 보게 되었던 것 같다. https://www.lemonbase.team/ 레몬베이스 팀을 소개합니다 🙂 2,000만 일하는 사람의 성장이 내 일의 성과가 되는 팀 www.lem..
Github 프로필 README 꾸미기
2023. 6. 9. 16:36
버전관리/git & github
Github 프로필을 꾸미기 전에 프로필이 존재 하지 않는다면 자기 계정의 이름으로 된 Github Repository 를 생성해주어야 한다. Repository 를 생성하게 되면 기본적으로 프로필을 보여주게 되는 README.md 파일이 생성되는데 이 때 생성되는 README.md 파일을 수정해서 프로필을 꾸밀 수 있다. 프로필을 꾸밀 때 가져올 주소를 확인해보면 URL 과 물음표(?) 뒤에 파라미터를 통해 표시해주고 있다. 예를 들어, https://github.com?username=jaynamm username 라고 하는 파라미터 값으로 "자신의 github 계정" 을 넣어주어야 한다. 각 프로필을 제공해주는 Github Repository 의 README 에 적혀있는 설명을 자세히 읽어보면 알 ..
MacOS Ventura Virtualbox NS_ERROR_FAILURE 에러
2023. 6. 7. 17:20
시스템/Virtual Machine
맥북을 통해 Virtualbox 를 설치했고 가상머신을 실행해서 외부에서 ssh 로 접속하려고 시도해봤지만 잘 되지 않았다. 실제로 Virtualbox Nat Networks 설정은 아래의 사진과 같이 되어있다. 그런데 게스트 IP 와 Port 를 통해 SSH 를 통해 외부에서 접속을 시도해봤지만 제대로 접속이 되지 않았다. 아래의 사진과 같이 ping 도 제대로 되지 않은 상태이다. 그래서 찾아보다가 Virtualbox 는 윈도우에서 가상머신에서 사용할 네트워크를 자동으로 생성해주지만 맥북에서는 자동으로 생성해주지 않는다고 한다. 그래서 ifconfig 명령어를 통해 맥북의 네트워크 IP 주소를 확인해보니 가상머신에서 사용될 vboxnet0 네트워크가 생성되어있지 않았다. 기존의 윈도우에서는 vboxn..
Cloudera Sandbox HDP for Daocker 설치 과정 정리, 결론은 안됨 😭
2023. 5. 29. 20:45
데이터 엔지니어링/Hadoop
유데미에서 하둡 관련 강의를 듣는데 Cloudera Sandbox HDP 를 사용해서 하둡을 사용한다고 해서 설치 과정을 정리해봤다. Cloudera Sandbox HDP 설치하기 Cloudera Sandbox HDP 설치는 아래의 사이트에서 진행할 수 있다. https://www.cloudera.com/downloads/hortonworks-sandbox/hdp.html Hortonworks Data Platform (HDP) on Sandbox The HDP Sandbox makes it easy to get started with Apache Hadoop, Apache Spark, Apache Hive, Apache HBase, Druid and Data Analytics Studio (DAS). ..
docker entrypoint.sh 파일의 exec $@
2023. 5. 28. 21:19
DevOps/Docker
dockerfile 에서 entrypoint.sh 파일을 작성하면서 exec $@ 명령어를 사용하는 것을 보고 궁금해서 찾아봤다. 내가 작성한 dockerfile 은 이렇게 작성되어있다. (...) # /etc/hadoop/*.xml 설정파일 변경 ADD entrypoint.sh /opt/hadoop/entrypoint.sh RUN chmod 755 /opt/hadoop/entrypoint.sh ENTRYPOINT ["/opt/hadoop/entrypoint.sh"] 마지막에 컨테이너를 실행 후에 entrypoint 를 실행하게 된다. 하지만 entrypoint 를 실행하고나서 컨테이너가 바로 종료된다. 그래서 찾아보다가 entrypoint.sh 파일의 마지막에 exec $@ 명령어를 넣어주는 것을 보았..
docker-compose 실행과 동시에 종료 (docker-compose exited with code 0)
2023. 5. 28. 17:55
DevOps/Docker
docker-compose 문제 docker-compose 를 통해 컨테이너를 동시에 실행시키려고 하니 다음과 같은 에러가 발생했다. 실행과 동시에 바로 종료가 되어 버린다... 그래서 원인을 찾아보니 docker container 는 하나의 명령어를 실행한다고 한다. 명령어의 수행이 끝나면 당연히 컨테이너가 종료된다. 에러를 보았듯이 정상 종료가 되어 버린다. 이러한 이유에서 명령어를 주지 않거나 단순히 하나의 명령어만 실행할 경우 명령어만 실행하고 곧바로 종료가 되어버린다. 때문에 계속해서 실행될 수 있도록 명령이 끝나지 않도록 하거나 명령이 끝나도 종료되지 않게 해주어야 한다. 해결 방법 다음과 같이 docker-compose.yaml 파일에 다음과 같이 옵션을 추가해주면 된다고 한다. stdin_..
앤유 사전 질문 및 면접 후기
2023. 5. 11. 17:10
제이로그/면접후기
며칠 전 NYOU (이하 앤유) 라는 게임 회사에 서류를 제출하게 되었고 서류 합격 이후 사전 질문과 함께 1차 면접을 준비하게 되었다. 면접을 보기 전 메일을 통해 사전 질문에 대한 내용을 받아 과제를 진행했다. 서류 합격이라는 연락이 오고 1차 면접은 3일 뒤로 결정되었기 때문에 날짜를 최대한 효율적으로 분배해서 빠르게 사전 질문에 대한 답안을 작성하고 남은 시간동안 면접 준비를 하자! 라고 생각했던 것 같다. 데이터 레이크에 관한 사전 질문이 주어졌는데 우선 수집할 데이터들에 대한 이해부터 해나아갔다. 어떤 데이터를 수집하려고 하고 데이터가 어디에 저장되어있고 어떻게 가져와야할까 하는 생각을 시작으로 지금까지 내가 공부하고 경험했던 내용을 토대로 하나씩 만들어갔던 것 같다. 그래도 어느 정도 큰 그..
GCP DialogFlow 문제로 프로젝트 삭제 안됨
2023. 5. 4. 10:03
Cloud/GCP
구글 클라우드 플랫폼에서 공부하면서 사용했던 프로젝트를 지우려고 보니 선취권과 관련된 내용과 함께 프로젝트를 삭제할 수 없다는 메시지가 나왔다. 내용을 캡쳐해놨어야하는데... ... Deletion blocked by Dialogflow. ... 그래서 해당 내용에 대해서 찾아보니 다음과 같이 에러를 해결했고 프로젝트를 삭제할 수 있었다. 먼저 구글 클라우드 플랫폼에 접속해서 우측 상단에 있는 버튼을 통해 Cloud Shell 을 활성화한다. 접속해서 프로젝트 ID 를 통해 Cloud Shell 에서 사용할 프로젝트를 설정해준다. gcloud config set project [PROJECT_ID] 그리고 아래의 명령어를 통해 리소스 매니저의 선취권 리스트를 확인할 수 있다. gcloud alpha re..
Mysql 8 버전 Sequal Pro 접속 에러
2023. 4. 14. 10:58
데이터 엔지니어링/Database
도커로 Mysql 8 버전을 설치하고 Sequal Pro 에서 접속하려고 하니 다음과 같은 에러가 발생했다. 이 문제의 원인은 Mysql 8버전부터는 비밀번호의 암호화 방식이 달라져서 생기는 문제라고 한다. 그래서 Sequal Pro 에서는 변경된 암호화 방식이 적용되지 않아 문제가 발생한 것으로 보이고 DBeaver 에서는 정상적으로 접속이 되는 것을 확인할 수 있었다. 만약 sequel pro 를 써야한다면 다음과 같이 2가지 방법을 통해서 해결할 수 있다고 한다. mysql 접속 후에 root 계정의 패스워드를 mysql_native_password 방식의 비밀번호로 변경해준 후에 사용할 수 있다고 한다. 다음과 같이 예를 들어 사용해볼 수 있다. ALTER USER 'admin'@'%' IDENT..