Mysql OperationalError: (1205, 'Lock wait timeout exceeded; try restarting transaction') 에러 발생
2023. 7. 6. 11:05
데이터 엔지니어링/Database
Mysql 에서 Insert 하는 과정에서 다음과 같이 에러가 발생했다. OperationalError: (1205, 'Lock wait timeout exceeded; try restarting transaction') 메시지를 보면 알 수 있듯이 트렌젝션의 수행시간이 초과되면 Lock 이 걸리는 것을 알 수 있다. 만약 트랜젝션의 수행시간이 길다면 나누어서 실행하는 게 좋을 것 같다. 해결 방법은 다음과 같다. mysql root 계정으로 접속한다. mysql -uroot -p 다음과 같이 timeout 값을 확인해볼 수 있다. select @@innodb_lock_wait_timeout; 확인해보면 아래와 같이 innodb_lock_wait_timeout 의 값이 50초로 되어있는 것을 확인할 수 ..
Cloudera Sandbox HDP for Daocker 설치 과정 정리, 결론은 안됨 😭
2023. 5. 29. 20:45
데이터 엔지니어링/Hadoop
유데미에서 하둡 관련 강의를 듣는데 Cloudera Sandbox HDP 를 사용해서 하둡을 사용한다고 해서 설치 과정을 정리해봤다. Cloudera Sandbox HDP 설치하기 Cloudera Sandbox HDP 설치는 아래의 사이트에서 진행할 수 있다. https://www.cloudera.com/downloads/hortonworks-sandbox/hdp.html Hortonworks Data Platform (HDP) on Sandbox The HDP Sandbox makes it easy to get started with Apache Hadoop, Apache Spark, Apache Hive, Apache HBase, Druid and Data Analytics Studio (DAS). ..
Mysql 8 버전 Sequal Pro 접속 에러
2023. 4. 14. 10:58
데이터 엔지니어링/Database
도커로 Mysql 8 버전을 설치하고 Sequal Pro 에서 접속하려고 하니 다음과 같은 에러가 발생했다. 이 문제의 원인은 Mysql 8버전부터는 비밀번호의 암호화 방식이 달라져서 생기는 문제라고 한다. 그래서 Sequal Pro 에서는 변경된 암호화 방식이 적용되지 않아 문제가 발생한 것으로 보이고 DBeaver 에서는 정상적으로 접속이 되는 것을 확인할 수 있었다. 만약 sequel pro 를 써야한다면 다음과 같이 2가지 방법을 통해서 해결할 수 있다고 한다. mysql 접속 후에 root 계정의 패스워드를 mysql_native_password 방식의 비밀번호로 변경해준 후에 사용할 수 있다고 한다. 다음과 같이 예를 들어 사용해볼 수 있다. ALTER USER 'admin'@'%' IDENT..
HDFS 블록(Block) 이해하기
2023. 3. 29. 16:13
데이터 엔지니어링/Hadoop
블록(Block) 이란 일반적으로 물리적인 디스크는 블록 크기 란 개념이 있다. 블록 크기 는 한 번에 읽고 쓸 수 있는 데이터의 최대량이다. 보통 파일 시스템의 블록 크기는 수 킬로바이트이고 디스크 블록의 크기는 기본적으로 512 바이트이다. HDFS Block HDFS 의 블록은 기본적으로 128MB 와 같이 매우 큰 단위이다. HDFS 의 파일은 단일 디스크를 위한 파일시스템처럼 특정 블록 크기의 청크로 쪼개지고 각 청크는 독립적으로 저장된다. 단일 디스크를 위한 파일시스템은 디스크 블록 크기보다 작은 데이터라도 한 블록 전체를 점유하지만 HDFS 파일은 블록 크기보다 작은 데이터일 경우 전체 블록 크기에 대한 하는 하위 디스크를 모두 점유하지 않는다. HDFS 블록이 큰 이유 HDFS 블록이 디스..
HDFS HA 구성 이해하기(2)
2023. 3. 29. 16:03
데이터 엔지니어링/Hadoop
이전 포스팅에 이어 계속해서 정리해보았다. Apache Hadoop 3.3.5 – HDFS High Availability
HDFS HA 구성 이해하기(1)
2023. 3. 29. 15:46
데이터 엔지니어링/Hadoop
아래의 문서를 참고해서 정리해봤다. 이 문서는 하둡 3.3.5 버전 을 기준으로 작성되어있다. 영어로 작성되어있어 공부할겸 열심히 해석해가며 정리해보았다. Apache Hadoop 3.3.5 – HDFS High Availability
Mysql - ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: NO)
2023. 3. 8. 12:44
데이터 엔지니어링/Database
mysql 을 유저와 패스워드 없이 접속할 때 다음과 같은 에러가 발생한다. ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: NO) 하지만 다음과 같이 유저와 패스워드를 입력해서 접속하면 정상적으로 접속되는 것을 확인할 수 있다. 물론 접속할 수 있는 방법은 있다. 패스워드를 제거해주면 된다. 다만, 실제 서비스에서는 보안상 위험하기 때문에 유저를 별도로 생성해 유저와 패스워드를 입력해서 접속하는 것을 권장한다. 패스워드를 변경하는 방법은 다음과 같이 mysql document 에서 확인할 수 있다. https://dev.mysql.com/doc/refman/5.7/en/assigning-passwords.htm..
OLPT 와 OLAP 에 대해서
2023. 2. 5. 18:03
데이터 엔지니어링/개념정리
OLTP (OnLine Transaction Processing) 복수의 사용자 PC 에서 발생되는 트랜잭션을 DB 서버가 처리하고 그 결과를 요청한 사용자 PC 에 결과를 되돌려주는 과정이라고 한다. 데이터를 처리하는데 중점을 둔다. 데이터를 처리한다고 하면 INSERT, UPDATE, DELETE 를 한다고 보면 된다. 이렇게 OLTP 는 데이터베이스의 최신 데이터를 유지하고 데이터 무결정을 보장한다. 간단하게 말하자면, 데이터 처리에 중점을 두었다는 것! OLAP (OnLine Analytical Processing) 데이터 웨어하우스에 저장된 데이터를 분석하여 사용자에게 유의미한 정보를 제공해주는 처리 방법을 의미한다. 사용자의 의사 결정에 도움을 주는 것으로 데이터 분석, 데이터 마이닝에서 주로..