https://jaynamm.tistory.com/ 공부하고 정리하는 블로그 ko Wed, 10 Jun 2026 07:59:07 +0900 TISTORY 100 남제이입니다! https://tistory1.daumcdn.net/tistory/3148560/attach/b49a9861923a4497a5409eb28a00cdd9 https://jaynamm.tistory.com https://jaynamm.tistory.com/entry/%ED%8B%B0%EC%8A%A4%ED%86%A0%EB%A6%AC%EC%97%90%EC%84%9C-Github-%EB%B8%94%EB%A1%9C%EA%B7%B8%EB%A1%9C-%EC%9D%B4%EC%A0%84%ED%95%98%EA%B8%B0 티스토리 블로그에 처음으로 글을 쓴 지 벌써 5년이 지났다.처음 글이 2019년 6월 30일 이다.ㅎㅎ   알고리즘 공부를 하면서 문제를 풀고 이해한 내용을 정리하자는 계기로 시작하게 되었는데 어느 덧 5년이란 시간이 흐르게 되었다.이 블로그에 취준생 시기와 여러 면접 기록들과 공부한 내용들이 기록되어있는데 이제는 티스토리를 놓아주어야할 때가 온 것 같다.   블로그 이전을 결심한 계기 처음에는 네이버 블로그에서 글을 썼었는데 네이버.. 제이로그 github 블로그 블로그 이전 티스토리에서 github 블로그로 이전하기 남제이입니다! https://jaynamm.tistory.com/410 https://jaynamm.tistory.com/entry/%ED%8B%B0%EC%8A%A4%ED%86%A0%EB%A6%AC%EC%97%90%EC%84%9C-Github-%EB%B8%94%EB%A1%9C%EA%B7%B8%EB%A1%9C-%EC%9D%B4%EC%A0%84%ED%95%98%EA%B8%B0#entry410comment Mon, 8 Jul 2024 10:52:00 +0900 https://jaynamm.tistory.com/entry/%ED%8E%98%EC%9D%B4%ED%9E%88%EC%96%B4-%EC%B5%9C%EC%A2%85-%EB%A9%B4%EC%A0%91-%ED%9B%84%EA%B8%B0 지난 페이히어 데이터 엔지니어에 지원했고 직무 면접에서 합격해서 최종면접을 보게 되었다.그 당시 일주일 내에 면접 결과를 알려주신다고 하셨는데 정확히 일주일이 지난 후에야 결과를 알려주셔서 떨어졌다고 생각했었는데 다행히 합격 소식을 받게 되어 최종 면접을 보게 되었다.     그렇게 최종 면접을 준비하게 되었다. 이번 면접에서는 컬처 핏에 대한 면접이었고 회사와 맞는지에 대한 내용이라고 생각이 되어 준비를 많이 하지 않고 있는 그대로.. 제이로그/면접후기 최종면접 페이히어 남제이입니다! https://jaynamm.tistory.com/409 https://jaynamm.tistory.com/entry/%ED%8E%98%EC%9D%B4%ED%9E%88%EC%96%B4-%EC%B5%9C%EC%A2%85-%EB%A9%B4%EC%A0%91-%ED%9B%84%EA%B8%B0#entry409comment Sun, 28 Apr 2024 18:43:27 +0900 https://jaynamm.tistory.com/entry/%ED%8E%98%EC%9D%B4%ED%9E%88%EC%96%B4-%EC%A7%81%EB%AC%B4-%EC%9D%B8%ED%84%B0%EB%B7%B0-%ED%9B%84%EA%B8%B0 지금의 내가 데이터 엔지니어로서 어떤 위치에 있고 내 실력이 어느 정도 되는지 확인하고 싶었다. 그래서 어떻게 나의 객관적인 실력을 체크할 수 있을까 하는 생각에 나는 면접을 보는 방법을 선택했다. 면접을 보게 된다면 내가 지금까지 한 일에 대해서 질문을 받고 답을 할 수 있는 자리가 생기기 때문에 더할 나위 없이 좋은 경험이 될 것이라고 생각했다. 그래서 여러 기업에 서류를 제출하고 기다리던 와중에 '페이히어' 라는 기업에 서류를 합격할 수 있었다. .. 제이로그/면접후기 기술 면접 면접 후기 사전 과제 실무 면접 페이히어 남제이입니다! https://jaynamm.tistory.com/408 https://jaynamm.tistory.com/entry/%ED%8E%98%EC%9D%B4%ED%9E%88%EC%96%B4-%EC%A7%81%EB%AC%B4-%EC%9D%B8%ED%84%B0%EB%B7%B0-%ED%9B%84%EA%B8%B0#entry408comment Sat, 6 Apr 2024 19:34:10 +0900 https://jaynamm.tistory.com/entry/PostgreSQL-Idle-in-transaction 다음 명령어를 통해 postgresql 의 활성화되어있는 프로스를 확인해보면 Idle in transaction 상태가 보인다. select * from pg_stat_activity;   찾아보니 이런 경우는 postgresql 에 transaction 이 잡혀있지만 아무런 동작도 하지 않으면 idle in transaction 상태가 된다고 한다.이런 경우가 많이 발생하게 되면 connection 은 잡고있지만 아무것도 하지 않게 되어 리소.. 데이터 엔지니어링/Database idle_in_transaction PostgreSQL postgresql idle_in_transaction 남제이입니다! https://jaynamm.tistory.com/407 https://jaynamm.tistory.com/entry/PostgreSQL-Idle-in-transaction#entry407comment Thu, 14 Mar 2024 18:10:22 +0900 https://jaynamm.tistory.com/entry/Pyspark-Window-function Pyspark 에서 Window 함수를 사용해 rank 나 row number 등과 같은 결과를 계산할 수 있다.직접 사용해보았지만 제대로 이해하고 사용하고 있는 것 같지 않아서 정리해보려고  한다.     Window Functions Pyspark window 함수는 frame 과 partition 과 같은 행(row) 의 그룹에서 입력된 모든 row 를 하나의 값으로 반환한다.Window 함수의 핵심은 여러 개의 row .. 데이터 엔지니어링/Spark pyspark pyspark avg() pyspark max() pyspark min() pyspark rank() pyspark row_number() pyspark window pyspark window functions Spark window functions 남제이입니다! https://jaynamm.tistory.com/406 https://jaynamm.tistory.com/entry/Pyspark-Window-function#entry406comment Thu, 14 Mar 2024 16:48:24 +0900 https://jaynamm.tistory.com/entry/jekyll-%ED%85%8C%EB%A7%88-%EB%A7%8C%EB%93%A4%EC%96%B4%EB%B3%B4%EA%B8%B0-with-MacOS-%EC%82%AC%EC%A0%84-%EC%A4%80%EB%B9%84 블로그에 글을 작성하면서 뭔가.. 나만의 wiki 를 한번 만들어볼까? 하는 생각에 그럼 github 블로그에 정리해보자!라는 생각이 들어 github 블로그를 만들어봐야겠다는 생각이 들었다.   처음에는 테마를 받아서 적용시켜보려고 하는데 원하는 기능을 추가해주어야 했고 이럴거면 내가 원하는 테마에 맞게 블로그 테마를 만들어서 적용해보자는 생각이 들었고 그렇게 jekyll 을 사용해보자는 생각이 들었다.   그래서 이렇게 블로그를 만.. 기타/Github Blog github 블로그 github.io Jekyll jekyll for mac jekyll theme 남제이입니다! https://jaynamm.tistory.com/405 https://jaynamm.tistory.com/entry/jekyll-%ED%85%8C%EB%A7%88-%EB%A7%8C%EB%93%A4%EC%96%B4%EB%B3%B4%EA%B8%B0-with-MacOS-%EC%82%AC%EC%A0%84-%EC%A4%80%EB%B9%84#entry405comment Sun, 25 Feb 2024 18:16:38 +0900 https://jaynamm.tistory.com/entry/%EB%A9%94%EB%AA%A8%EB%A6%AC-%EB%8B%A8%ED%8E%B8%ED%99%94-Memory-Fragmentation 메모리를 공부하면서 메모리 단편화에 대해서 알게 되었다. 그래서 추가적으로 메모리 단편화가 무엇인지 정리해보려고 한다.   메모리 단편화가 무엇인가 RAM 에서 메모리의 공간이 작은 조각으로 나누어져 사용가능한 메모리가 충분히 존재하지만 할당이 불가능한 상태를 메모리 단편화라고 한다.   메모리 단편화는 2가지로 구분할 수 있다. 내부 단편화 (Internal Fragmentation) 외부 단편화 (External Fragmenta.. 컴퓨터 과학/개념정리 external fragmentation Internal fragmentation memory fragmentation paging segmentation 내부 단편화 메모리 메모리 단편화 외부 단편화 남제이입니다! https://jaynamm.tistory.com/404 https://jaynamm.tistory.com/entry/%EB%A9%94%EB%AA%A8%EB%A6%AC-%EB%8B%A8%ED%8E%B8%ED%99%94-Memory-Fragmentation#entry404comment Sun, 18 Feb 2024 18:34:10 +0900 https://jaynamm.tistory.com/entry/%EB%A9%94%EB%AA%A8%EB%A6%AC-%EA%B5%AC%EC%A1%B0-Memory-Structure 디스크에 저장되어있는 프로그램을 실행하게 되면 프로그램에 대하 정보를 읽어와 메모리에 로드하게 된다.그럼 메모리에 어떻게 적재되고 어디에 적재되는가에 대해서 정리해보자.   먼저 메모리는 다음과 같이 4개의 영역으로 구분된다. 그럼 각 영역이 어떤 역할을 하는지 알아보자.     코드(Code) 영역 코드 영역에는 우리가 작성한 코드가 저장된다. 이때 컴파일이 완료된 상태의 코드(0과 1로 이루어진 기계어)가 할당된다.예.. 컴퓨터 과학/개념정리 CS memory fragmentation memory 단편화 memroy 메모리 단편화 남제이입니다! https://jaynamm.tistory.com/403 https://jaynamm.tistory.com/entry/%EB%A9%94%EB%AA%A8%EB%A6%AC-%EA%B5%AC%EC%A1%B0-Memory-Structure#entry403comment Sun, 18 Feb 2024 17:27:37 +0900 https://jaynamm.tistory.com/entry/Postgres-auto-increment-%EC%A0%81%EC%9A%A9%ED%95%98%EA%B8%B0 Mysql 에서는 auto_increment 라는 속성을 부여해주면 자동으로 증가하게 만들어줄 수 있다.Postgres 에서는 auto_increment 라는 속성을 부여할 수 없기 때문에 다른 방법을 통해서 증가하게 만들어주어야 한다.그래서 postgres 의 auto increment 에는 어떤 방법들이 있는지 정리해보려고 한다.     Sequence 객체를 사용해서 auto increment 하기 postgres 에는 Seque.. 데이터 엔지니어링/Database auto increment postgres postgres auto increment postgres sequence PostgreSQL 남제이입니다! https://jaynamm.tistory.com/402 https://jaynamm.tistory.com/entry/Postgres-auto-increment-%EC%A0%81%EC%9A%A9%ED%95%98%EA%B8%B0#entry402comment Fri, 16 Feb 2024 19:13:07 +0900 https://jaynamm.tistory.com/entry/Spark-explode-%ED%95%A8%EC%88%98-%EC%82%AC%EC%9A%A9%EC%8B%9C-%EC%A3%BC%EC%9D%98%ED%95%A0-%EC%A0%90 spark explode() 함수는 리스트 타입의 컬럼에서 각각의 element 를 하나의 row 로 펼쳐주는 기능을 한다.   explode() 함수의 사용 방법에 대해서는 다음과 같이 이전에 정리해두었다. https://jaynamm.tistory.com/entry/Spark-explode-%EC%82%AC%EC%9A%A9%ED%95%B4%EC%84%9C-List-%EB%8D%B0%EC%9D%B4%ED%84%B0-%EB%B6%84%EB%A6.. 데이터 엔지니어링/Spark explode() 함수 사용시 주의할 점 Spark spark explode() 남제이입니다! https://jaynamm.tistory.com/401 https://jaynamm.tistory.com/entry/Spark-explode-%ED%95%A8%EC%88%98-%EC%82%AC%EC%9A%A9%EC%8B%9C-%EC%A3%BC%EC%9D%98%ED%95%A0-%EC%A0%90#entry401comment Sun, 11 Feb 2024 18:16:54 +0900 https://jaynamm.tistory.com/entry/%ED%94%84%EB%A1%9C%EA%B7%B8%EB%9E%A8%EA%B3%BC-%ED%94%84%EB%A1%9C%EC%84%B8%EC%8A%A4%EC%9D%98-%EC%B0%A8%EC%9D%B4 CS 를 다시 공부하면서 프로그램과 프로세스에 대해서 정확히 설명하지 못했고 (반성하자)프로그램과 프로세스의 차이에 대해서 제대로 알고 있지 않다는 생각이 들어 제대로 이해하고자 공부한 내용을 정리해보려고 한다.   프로그램 (Program) 프로그램이란 흔히 소프트웨어라고 하는 애플리케이션들을 말한다예를 들어, 카카오톡이나 계산기 등을 프로그램이라고 할 수 있다.   조금 더 자세하게 설명하자면 컴퓨터가 실행할 수 있는 명령의 집합이.. 컴퓨터 과학/개념정리 Process program program vs process 프로그램 프로그램과 프로세스의 차이 프로세스 남제이입니다! https://jaynamm.tistory.com/400 https://jaynamm.tistory.com/entry/%ED%94%84%EB%A1%9C%EA%B7%B8%EB%9E%A8%EA%B3%BC-%ED%94%84%EB%A1%9C%EC%84%B8%EC%8A%A4%EC%9D%98-%EC%B0%A8%EC%9D%B4#entry400comment Sun, 11 Feb 2024 17:04:00 +0900 https://jaynamm.tistory.com/entry/airflow-providecontext-arguments 에러 발생 airlfow 를 사용하다가 아래와 같은 에러가 발생했다. airflow.exceptions.AirflowException: Invalid arguments were passed to _PythonDecoratedOperator (task_id: check_steps__1). Invalid arguments were: **kwargs: {'provide_context': False}   에러 내용은 Invalid argume.. 데이터 엔지니어링/Airflow airflow airflow provide_context Invalid arguments were: **kwargs: {'provide_context': False} provice_context 남제이입니다! https://jaynamm.tistory.com/399 https://jaynamm.tistory.com/entry/airflow-providecontext-arguments#entry399comment Wed, 7 Feb 2024 14:38:24 +0900 https://jaynamm.tistory.com/entry/airflow-Default-Arguments airflow 에서 DAG 를 생성할 때 사용되는 default arguments 에 대해서 정리해보려고 한다.   Default Arguments default_args 에 대해서 이해하기 위해 airflow concept 에서 다음과 같이 확인할 수 있었다.   https://airflow.apache.org/docs/apache-airflow/2.6.2/core-concepts/dags.html#default-arguments .. 데이터 엔지니어링/Airflow airflow airflow default arguments airflow defulat_args 남제이입니다! https://jaynamm.tistory.com/398 https://jaynamm.tistory.com/entry/airflow-Default-Arguments#entry398comment Wed, 7 Feb 2024 11:27:46 +0900 https://jaynamm.tistory.com/entry/airflow-Dynamic-Task-Mapping airflow 를 사용하면서 하나의 task 안에서 여러 개의 작업이 수행될 때 각 작업의 상태를 확인하거나 모든 작업에 동일한 값을 넘겨주고 싶은 경우가 있다. 이럴 때 airflow 제공하는 것이 airflow Dynamic Task Mapping 이라는 기능이다.   이 기능은 airflow 2.3.0 버전에서 새롭게 추가된 기능이라고 한다. 이 기능 외에도 다양한 기능이 추가된 것으로 알고 있다.   airflow 2.3.0 의.. 데이터 엔지니어링/Airflow airflow airflow MapReduce airflow task Dynamic Task Mapping expend Partial 남제이입니다! https://jaynamm.tistory.com/397 https://jaynamm.tistory.com/entry/airflow-Dynamic-Task-Mapping#entry397comment Thu, 28 Dec 2023 14:27:02 +0900 https://jaynamm.tistory.com/entry/aws-cli-error-AttributeError-module-lib-has-no-attribute-X509VERRUNABLETOGETISSUERCERT awscli 를 설치하고나서 aws --version 명령어를 통해 버전을 확인하려고 하니 다음과 같이 에러가 발생했다. $ aws --version Traceback (most recent call last): File "/opt/homebrew/bin/aws", line 19, in <module> import awscli.clidriver File "/opt/homebrew/Cellar/awscli/2.13.38/libex.. Cloud/AWS aws cli aws cli attributeError aws cli brew install aws cli error 남제이입니다! https://jaynamm.tistory.com/396 https://jaynamm.tistory.com/entry/aws-cli-error-AttributeError-module-lib-has-no-attribute-X509VERRUNABLETOGETISSUERCERT#entry396comment Sat, 25 Nov 2023 18:53:36 +0900 https://jaynamm.tistory.com/entry/python-urllib-%EC%82%AC%EC%9A%A9%ED%95%B4%EC%84%9C-URL-%EB%8B%A4%EB%A3%A8%EC%96%B4%EB%B3%B4%EA%B8%B0 python 으로 개발하면서 URL 을 다루게 되면서 어떻게 URL 내에서 path 만 가져와야하고 parameter 를 어떻게 가져와야하고 query string 은 어떻게 추가해야하는지에 대한 고민을 했던 적이 있다.   정말 단순하게 생각했을 때 URL 문자열 알에 들어있는 '/' 나 '?' 또는 '&' 등의 문자를 통해 split 해서 가져오면 되지 않을까? 하는 생각이 들었다. 하지만 python urllib 이라는 라.. 프로그래밍 언어/Python parse_qs parse_qsl python python urllib Quote urljoin urllib urllib3 urlparse urlsplit 남제이입니다! https://jaynamm.tistory.com/395 https://jaynamm.tistory.com/entry/python-urllib-%EC%82%AC%EC%9A%A9%ED%95%B4%EC%84%9C-URL-%EB%8B%A4%EB%A3%A8%EC%96%B4%EB%B3%B4%EA%B8%B0#entry395comment Sat, 21 Oct 2023 19:39:14 +0900 https://jaynamm.tistory.com/entry/PostgreSQL-%EC%BB%AC%EB%9F%BC-%EA%B8%B0%EB%B3%B8%EA%B0%92default-%EC%84%A4%EC%A0%95 PostgreSQL 에서 컬럼을 설정할 때 기본값(default) 에 대해서 정리해보려고 한다.   기본값 (default) 이란 PostgreSQL 에서 컬럼의 Default 는 해당 컬럼에 데이터를 삽입할 때 명시적으로 값을 제공하지 않을 때 사용되는 기본값을 정의하는데 사용된다. 쉽게 말해서 어떠한 동작을 하지 않을 때 기본적으로 Default 에 명시된 값이 들어간다는 말이다.   예를 들어 Default 는 다음과 같이 설정할.. 데이터 엔지니어링/Database postgres PostgreSQL postgresql column defualt postgresql default 남제이입니다! https://jaynamm.tistory.com/394 https://jaynamm.tistory.com/entry/PostgreSQL-%EC%BB%AC%EB%9F%BC-%EA%B8%B0%EB%B3%B8%EA%B0%92default-%EC%84%A4%EC%A0%95#entry394comment Thu, 5 Oct 2023 23:38:03 +0900 https://jaynamm.tistory.com/entry/conda-%EA%B8%B0%EB%B3%B8-%EB%AA%85%EB%A0%B9%EC%96%B4-%EC%A0%95%EB%A6%AC conda 를 사용하면서 기본적인 명령어에 대해서 정리해두려고 한다.사용하면서 알아두어야할 명령어들에 대해서도 추가할 예정이다.   conda 가상환경 생성 conda create -n [가상환경 이름] python=[python version] # 예시 conda create -n venv python=3.11     conda 가상환경 activate & deactivate # 가상환경 활성화 (activate) .. 시스템/Virtual Machine conda conda command conda 명령어 mac miniconda miniconda3 남제이입니다! https://jaynamm.tistory.com/393 https://jaynamm.tistory.com/entry/conda-%EA%B8%B0%EB%B3%B8-%EB%AA%85%EB%A0%B9%EC%96%B4-%EC%A0%95%EB%A6%AC#entry393comment Tue, 3 Oct 2023 18:08:26 +0900 https://jaynamm.tistory.com/entry/miniconda3-CommandNotFoundError-Your-shell-has-not-been-properly-configured-to-use-conda-activate miniconda 를 설치하고나서 가상 환경을 생성하고 activate 하는 과정에서 다음과 같이 에러 메시지가 나왔다. CommandNotFoundError: Your shell has not been properly configured to use 'conda activate'. To initialize your shell, run $ conda init <SHELL_NAME> Currently supported shells a.. 시스템/Virtual Machine CommandNotFoundError: Your shell has not been properly configured to use 'conda activate'. miniconda activate error minoconda3 남제이입니다! https://jaynamm.tistory.com/392 https://jaynamm.tistory.com/entry/miniconda3-CommandNotFoundError-Your-shell-has-not-been-properly-configured-to-use-conda-activate#entry392comment Tue, 3 Oct 2023 17:59:55 +0900 https://jaynamm.tistory.com/entry/Spark-explode-%EC%82%AC%EC%9A%A9%ED%95%B4%EC%84%9C-List-%EB%8D%B0%EC%9D%B4%ED%84%B0-%EB%B6%84%EB%A6%AC%ED%95%98%EA%B8%B0 Spark Dataframe 에 다음과 같이 리스트 형태로 들어간 컬럼이 있을 것이다. scala> val df = Seq(("Nam", List("A", "B", "C", "D"))).toDF("name", "grade") df: org.apache.spark.sql.DataFrame = [name: string, grade: array<string>] scala> df.show() +----+------------+ |name.. 데이터 엔지니어링/Spark Spark spark explode spark list to rows spark 리스트를 row 로 분리 남제이입니다! https://jaynamm.tistory.com/391 https://jaynamm.tistory.com/entry/Spark-explode-%EC%82%AC%EC%9A%A9%ED%95%B4%EC%84%9C-List-%EB%8D%B0%EC%9D%B4%ED%84%B0-%EB%B6%84%EB%A6%AC%ED%95%98%EA%B8%B0#entry391comment Sun, 1 Oct 2023 17:57:57 +0900 https://jaynamm.tistory.com/entry/Spark-User-Defined-Functions-UDFs Spark 를 사용하다보면 UDFs 를 사용하여 새로운 column 을 만드는 경우가 많이 있다.그래서 Spark UDFs 에 대해서 정확하게 무엇을 말하고 어떻게 사용하는 지에 대해서 정리해보려고 한다.   정리는 아래의 공식 문서를 참고해서 정리해보았다. https://spark.apache.org/docs/latest/sql-ref-functions-udf-scalar.html   Scalar User Defined Funct.. 데이터 엔지니어링/Spark Spark spark udfs spark user defined functions udfs 남제이입니다! https://jaynamm.tistory.com/390 https://jaynamm.tistory.com/entry/Spark-User-Defined-Functions-UDFs#entry390comment Sun, 1 Oct 2023 17:29:49 +0900 https://jaynamm.tistory.com/entry/Spark-Multithreading-Error-in-MacOS macos 에서 pyspark 를 통해 디버깅을 하던 도중 다음과 같은 에러가 발생했다.   To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel). 23/09/27 10:36:44 WARN package: Truncated the string representation of a plan since it was too large. Thi.. 데이터 엔지니어링/Spark may have been in progress in another thread when fork() was called Spark spark multi process error Spark multi process error in macOS __NSCFConstantString initialize 남제이입니다! https://jaynamm.tistory.com/389 https://jaynamm.tistory.com/entry/Spark-Multithreading-Error-in-MacOS#entry389comment Wed, 27 Sep 2023 11:26:25 +0900 https://jaynamm.tistory.com/entry/Spark-JDBC-Data-Source-Option spark 를 통해 JDBC 를 통해 데이터베이스의 테이블을 불러올 때 사용하는 옵션에 대해서 정리해보려고 한다.   Spark JDBC To Other Databases 해당 내용은 야래의 spark 공식 문서에서 확인할 수 있다. https://spark.apache.org/docs/latest/sql-data-sources-jdbc.html   JDBC To Other Databases - Spark 3.5.0 Document.. 데이터 엔지니어링/Spark Spark spark data soruce option spark jdbc spark jdbc option 남제이입니다! https://jaynamm.tistory.com/388 https://jaynamm.tistory.com/entry/Spark-JDBC-Data-Source-Option#entry388comment Tue, 26 Sep 2023 12:32:17 +0900 https://jaynamm.tistory.com/entry/spark-config-%EB%A6%AC%EC%8A%A4%ED%8A%B8-%EC%A0%95%EB%A6%AC-sparkconfigset spark config 에 대해서 정리하려고 한다.사용해본 config 설정이 많지는 않지만 여러 config 들에 대해서 계속해서 정리해나가야겠다.   spark config setting 방법 # spark session 생성 spark = SparkSession.builder.appName("test").getOrCreate() # config 예시 spark.conf.set("spark.sql.inMemoryColumnarStorag.. 데이터 엔지니어링/Spark Spark spark config spark config set spark.config.set 남제이입니다! https://jaynamm.tistory.com/387 https://jaynamm.tistory.com/entry/spark-config-%EB%A6%AC%EC%8A%A4%ED%8A%B8-%EC%A0%95%EB%A6%AC-sparkconfigset#entry387comment Sun, 17 Sep 2023 19:44:26 +0900 https://jaynamm.tistory.com/entry/m1-openjdk-%EC%84%A4%EC%B9%98%ED%95%98%EA%B8%B0 맥북 m1 에서 openjdk 를 설치하는 과정에 대해서 정리해보려고 한다.     brew openjdk 버전 확인 brew 를 통해 설치할 수 있는 openjdk 버전 확인하기 $ brew search openjdk ==> Formulae openjdk openjdk@11 openjdk@17 o.. 프로그래밍 언어/Java m1 openjdk m1 openjdk install macos jdk 남제이입니다! https://jaynamm.tistory.com/386 https://jaynamm.tistory.com/entry/m1-openjdk-%EC%84%A4%EC%B9%98%ED%95%98%EA%B8%B0#entry386comment Sun, 17 Sep 2023 19:30:55 +0900 https://jaynamm.tistory.com/entry/LLMLarge-Language-Model-%EC%9D%B4%ED%95%B4%ED%95%98%EA%B8%B0   먼저 LM(Language Model, 언어 모델) 에 대해서 이해하고 넘어가려고 한다.언어 모델이란 인간의 언어를 이해하고 생성하도록 훈련된 일종의 인공지능 모델이라고 한다.주어진 단어 내에서 패턴이나 구조, 관계를 학습하여 텍스트 번역과 같은 좁은 AI 작업에서 주로 활용되었다고 한다.   LLM(Large Language Model) 이란 그럼 LLM(Large Language Model) 이란 무엇일까?  해석 그대.. AI/Model ai model Large Language Model LLM 남제이입니다! https://jaynamm.tistory.com/385 https://jaynamm.tistory.com/entry/LLMLarge-Language-Model-%EC%9D%B4%ED%95%B4%ED%95%98%EA%B8%B0#entry385comment Sun, 17 Sep 2023 19:03:09 +0900 https://jaynamm.tistory.com/entry/Git-cherry-pick-%EC%9D%B4%EB%9E%80 git 을 사용하면서 cherry pick 이라는 것이 있다고 해서 정리해보려고 한다.   git cherry pick 이란 git 에서 cherry-picking 이란 하나의 브랜치에서 단일 커밋을 가져와서 다른 브랜치에 추가하는 것을 말한다.단일 커밋에 포함된 변경 사항이 필요하지만 해당 브랜치의 전체 내용을 다른 브랜치로 가져올 수 없거나 가져오고 싶지 않은 경우내가 원하는 커밋을 가져올 수 있게 골라야 한다.이 때 cherry-picki.. 버전관리/git & github cherry pick GIT git cherry pick 남제이입니다! https://jaynamm.tistory.com/384 https://jaynamm.tistory.com/entry/Git-cherry-pick-%EC%9D%B4%EB%9E%80#entry384comment Sun, 10 Sep 2023 21:28:50 +0900 https://jaynamm.tistory.com/entry/Gitflow-%EB%B8%8C%EB%9E%9C%EC%B9%98-%EC%A0%84%EB%9E%B5-%EC%9D%B4%ED%95%B4%ED%95%98%EA%B8%B0 많은 IT 기업에서 gitflow 를 사용해 버전 관리를 하고 있는 것으로 알고 있다.나도 실제로 개발 업무을 진행하면서 Gitflow 를 통해 버전관리를 하고 있다.하지만 Gitflow 가 무엇이고 어떻게 사용하고 어떤 전략을 통해 버전 관리를 하도록 권장하고 있는지 알아보기 위해 정리해보았다.그럼 Gitflow 에는 어떤 브랜치들로 구성되어있고 어떤 전략으로 사용되는지 알아보자.   Gitflow 브랜치 구성 GitFlow 는 다음과 같은 .. 버전관리/git & github GIT gitflow 남제이입니다! https://jaynamm.tistory.com/383 https://jaynamm.tistory.com/entry/Gitflow-%EB%B8%8C%EB%9E%9C%EC%B9%98-%EC%A0%84%EB%9E%B5-%EC%9D%B4%ED%95%B4%ED%95%98%EA%B8%B0#entry383comment Sun, 10 Sep 2023 20:29:21 +0900 https://jaynamm.tistory.com/entry/AWS-EC2-%EC%9D%B8%EC%8A%A4%ED%84%B4%EC%8A%A4-%EC%9C%A0%ED%98%95-t2-%EC%99%80-t3-%EB%B9%84%EA%B5%90%ED%95%98%EA%B8%B0-t2-vs-t3 AWS  프리티어를 사용하게 되면 기본적으로 EC2 인스턴스의 t2 유형을 사용할 수 있다.프리티어가 계속해서 적용되어있다면 t2 를 사용하는 것이 효율적이라고 생각되지만 1년이 지나고 프리티어가 적용되지 않는다면 t2 를 계속해서 사용하는 것이 효율적인가에 대한 고민이 들거라고 생각한다.또한 프리티어에서 기본적으로 제공해주는 ec2 t2.micro 인스턴스 유형의 경우 CPU 1 core, RAM 1GB 를 제공해주고 있다.그렇기에 t2 인스.. Cloud/AWS AWS aws ec2 isntance type aws ec2 인스턴스 유형 ec2 t2 vs t3 t2 vs t3 남제이입니다! https://jaynamm.tistory.com/382 https://jaynamm.tistory.com/entry/AWS-EC2-%EC%9D%B8%EC%8A%A4%ED%84%B4%EC%8A%A4-%EC%9C%A0%ED%98%95-t2-%EC%99%80-t3-%EB%B9%84%EA%B5%90%ED%95%98%EA%B8%B0-t2-vs-t3#entry382comment Sun, 3 Sep 2023 19:57:56 +0900 https://jaynamm.tistory.com/entry/%EC%84%9C%EB%B2%84-%EC%82%AC%EC%9D%B4%EB%93%9C-%EB%A0%8C%EB%8D%94%EB%A7%81Server-Side-Rendering-SSR-%EC%9D%B4%EB%9E%80 개발을 진행하면서 서버 사이드 렌더링에 대한 이해가 필요해 정리해보았다.   먼저 렌더링에 대한 간단한 이해를 시작으로 정리해보려고 한다.   렌더링이란 서버로부터 받은 파일을 클라이언트인 브라우저에게 보내는 과정이다.간단하게 말해 서버에서 HTML 파일과 CSS 파일을 클라이언트에서 받아 파싱하게 되고 렌더링 과정을 통해 브라우저에 화면을 보여주게 된다. 그럼 이러한 렌더링 과정을 서버 측면에서 해줄 것이냐, 클라이언트 측면에서 해줄.. 개발/개념정리 SSR 서버 사이드 렌더링 남제이입니다! https://jaynamm.tistory.com/381 https://jaynamm.tistory.com/entry/%EC%84%9C%EB%B2%84-%EC%82%AC%EC%9D%B4%EB%93%9C-%EB%A0%8C%EB%8D%94%EB%A7%81Server-Side-Rendering-SSR-%EC%9D%B4%EB%9E%80#entry381comment Sun, 20 Aug 2023 19:47:08 +0900 https://jaynamm.tistory.com/entry/Python-vars-%ED%95%A8%EC%88%98 Python 을 사용하던 중 vars() 라는 함수에 대해서 알게 되었다. 그래서 어떤 함수이고 어떻게 사용하는지에 대해서 정리해보려고 한다.   python vars() vars() 함수는 주어진 객체를 __dict__ 의 속성으로 반환해주는 함수라고 한다.     vars() Syntax vars() 함수는 다음과 같이 사용할 수 있다. vars(object)   vars() 함수는 하나의 파라미터를 갖는다. 파라.. 프로그래밍 언어/Python python vars() python vars() 함수 vars() 함수 파이썬 vars() 남제이입니다! https://jaynamm.tistory.com/380 https://jaynamm.tistory.com/entry/Python-vars-%ED%95%A8%EC%88%98#entry380comment Wed, 16 Aug 2023 19:23:52 +0900 https://jaynamm.tistory.com/entry/%ED%8E%98%EC%9D%B4%EB%A1%9C%EB%93%9CPayload-%EC%97%90-%EB%8C%80%ED%95%B4%EC%84%9C 내가 알고 있는 페이로드는 데이터를 요청했을 때 응답으로 보내지는 데이터 부분이라고 알고 있다.그래서 정확히 페이로드가 무엇인지에 대해서 정리해보려고 한다.   페이로드(Payload) 란 페이로드(Payload) 는 전송되는 데이터 를 의미한다.   페이로드 는 전송의 근본적인 목적이 되는 데이터의 일부분으로 그 데이터와 함께 전송되는 헤더와 메타데이터와 같은 부분을 제외한 데이터이다. 컴퓨터 보안에서는 페이로드를 멀웨어의 일부를 뜻.. 데이터 엔지니어링/개념정리 payload 페이로드 남제이입니다! https://jaynamm.tistory.com/379 https://jaynamm.tistory.com/entry/%ED%8E%98%EC%9D%B4%EB%A1%9C%EB%93%9CPayload-%EC%97%90-%EB%8C%80%ED%95%B4%EC%84%9C#entry379comment Sun, 13 Aug 2023 18:26:25 +0900 https://jaynamm.tistory.com/entry/FastAPI-Event-Handlers-onevent-1 FastAPI 에서 애플리케이션이 시작하기 전에 실행하거나 애플리케이션이 종료될 때 event handlers 를 정의할 수 있다.이벤트 헨들러는 async def 또는 def 로 정의할 수 있다.   FastAPI 의 아래의 문서에서 확인할 수 있다. https://fastapi.tiangolo.com/ko/advanced/events/?h=event   Lifespan Eve.. 개발/FastAPI FastAPI fastapi event handlers fastapi shutdown fastapi startup on_event shutdown startup 남제이입니다! https://jaynamm.tistory.com/378 https://jaynamm.tistory.com/entry/FastAPI-Event-Handlers-onevent-1#entry378comment Sun, 13 Aug 2023 17:51:47 +0900 https://jaynamm.tistory.com/entry/Mysql-%EA%B3%BC-Postgresql-%EB%B9%84%EA%B5%90%ED%95%98%EA%B8%B0 stackoverflow developer Survey 2023 에서 개발자들 사용하는 데이터베이스에 대해서 투표한 결과를 보게 되었다. https://survey.stackoverflow.co/2023/   Stack Overflow Developer Survey 2023 In May 2023 over 90,000 developers responded to our annual survey about how they learn and lev.. 데이터 엔지니어링/Database MySQL mysql vs postgresql postgres PostgreSQL stackoverflow developer survey 2023 남제이입니다! https://jaynamm.tistory.com/376 https://jaynamm.tistory.com/entry/Mysql-%EA%B3%BC-Postgresql-%EB%B9%84%EA%B5%90%ED%95%98%EA%B8%B0#entry376comment Thu, 10 Aug 2023 21:46:18 +0900 https://jaynamm.tistory.com/entry/Pydantic-%EC%9D%B4%EB%9E%80 파이썬은 기본적으로 동적 타입을 사용하는 인터프리터 언어이다.예를 들어 String 타입으로 숫자를 입력하게 되면 자동으로 Int 타입으로 변환해 적용해준다.그렇기에 알아서 타입을 지정해주는 장점을 가지고 있지만 타입과 관련된 에러가 발생할 경우 어디에서 어떻게 에러가 발생했는지 알 수 없는 문제가 발생할 수 있다.   따라서 Pydantic 을 사용해 타입을 직접적으로 명시해줌으로써 데이터 유효성을 검증하고 데이터 관리를 할 수 있다. &nb.. 프로그래밍 언어/Python pydantic python python type 남제이입니다! https://jaynamm.tistory.com/375 https://jaynamm.tistory.com/entry/Pydantic-%EC%9D%B4%EB%9E%80#entry375comment Thu, 10 Aug 2023 20:46:59 +0900 https://jaynamm.tistory.com/entry/%ED%8F%B4%EB%A7%81Polling-%EA%B3%BC-%EB%A1%B1-%ED%8F%B4%EB%A7%81Long-Polling Polling 이란 폴링이란 주기적으로 문의하여 조건에 맞으면 처리해주는 방식 이라고 한다.필요한 것이 있는지 물어보고 있으면 처리해주는 방식 또는 주기적으로 상대방을 호출해서 처리할 것이 있는지 확인하여 있으면 처리하는 방식이라고 한다. 그리고 다른 장치의 상태를 주기적으로 검사하여 일정한 조건을 만족할 때 송수신 등의 자료처리를 하는 방식이라고도 한다.   폴링의 목적은 충돌을 회피하고 동기화 처리 등을 하기 위해 사용한다.   폴.. 시스템/네트워크 long polling polling 롱 폴링 폴링 남제이입니다! https://jaynamm.tistory.com/374 https://jaynamm.tistory.com/entry/%ED%8F%B4%EB%A7%81Polling-%EA%B3%BC-%EB%A1%B1-%ED%8F%B4%EB%A7%81Long-Polling#entry374comment Mon, 31 Jul 2023 18:44:12 +0900 https://jaynamm.tistory.com/entry/Debezium-%EC%97%90-%EB%8C%80%ED%95%B4%EC%84%9C 향후 일을 하기 전에 어떤 기술 스텍들을 사용하는지 알아보던 중 Debezium 이라는 기술을 처음 들어보게 되었다.그래서 Debezium 이 뭔지 알아보려고 한다.   Debezium 이란? Debezium (이하, 데베지움) 의 공식 문서는 아래의 사이트에서 확인할 수 있다. https://debezium.io/   Debezium Debezium is an open source distributed platform for ch.. 데이터 엔지니어링/개념정리 Debezium 남제이입니다! https://jaynamm.tistory.com/373 https://jaynamm.tistory.com/entry/Debezium-%EC%97%90-%EB%8C%80%ED%95%B4%EC%84%9C#entry373comment Mon, 31 Jul 2023 18:06:16 +0900 https://jaynamm.tistory.com/entry/%ED%8B%B0%EC%8A%A4%ED%86%A0%EB%A6%AC-%EC%B9%B4%ED%85%8C%EA%B3%A0%EB%A6%AC-%EC%95%88%EC%9D%98-%EA%B8%80%EC%9D%84-%EC%A7%80%EC%9B%A0%EB%8A%94%EB%8D%B0-%EC%B9%B4%ED%85%8C%EA%B3%A0%EB%A6%AC%EC%97%90-%EA%B0%9C%EC%88%98%EA%B0%80-%EB%82%A8%EC%95%84%EC%9E%88%EB%8A%94-%EA%B2%BD%EC%9A%B0 티스토리의 카테고리 안에 있는 모든 글을 삭제하고 카테고리 내에서 지우려고 하니글은 삭제했지만 카테고리의 글 개수가 그대로 남아있어 카테고리가 삭제 되지 않았다.     그래서 지우려고 하는 카테고리에  테스트로 글을 하나 작성하였다.그리고 그 글을 다른 카테고리로 이동하니 지우려고 하는 카테고리의 글 개수가 0개로 정상적으로 표기가 되었고카테고리를 삭제할 수 있었다.   카테고리를 지우려고 하다가 나와 같은 문제가 .. 기타/꿀팁 티스토리 카테고리 글 개수 버그 티스토리 카테고리 삭제 티스토리 카테고리 삭제 버그 티스토리 카테고리 삭제 안됨 남제이입니다! https://jaynamm.tistory.com/372 https://jaynamm.tistory.com/entry/%ED%8B%B0%EC%8A%A4%ED%86%A0%EB%A6%AC-%EC%B9%B4%ED%85%8C%EA%B3%A0%EB%A6%AC-%EC%95%88%EC%9D%98-%EA%B8%80%EC%9D%84-%EC%A7%80%EC%9B%A0%EB%8A%94%EB%8D%B0-%EC%B9%B4%ED%85%8C%EA%B3%A0%EB%A6%AC%EC%97%90-%EA%B0%9C%EC%88%98%EA%B0%80-%EB%82%A8%EC%95%84%EC%9E%88%EB%8A%94-%EA%B2%BD%EC%9A%B0#entry372comment Mon, 31 Jul 2023 16:53:02 +0900 https://jaynamm.tistory.com/entry/%ED%87%B4%EC%82%AC-%ED%9B%84-8%EA%B0%9C%EC%9B%94-%EA%B0%84%EC%9D%98-%EC%9D%B4%EC%95%BC%EA%B8%B0-%EA%B7%B8%EB%A6%AC%EA%B3%A0-%EC%83%88%EB%A1%9C%EC%9A%B4-%EC%8B%9C%EC%9E%91 퇴사한 지 벌써 8개월이라는 시간이 흘렀다. 퇴사했을 당시 나는 퇴사하게 된 순간과 퇴사를 결정하기까지의 순간들을 글로 남겼었다.   이직 후 회사에서 그리고 퇴사 이야기, 회고 쓸까, 말까, 고민했던 이직 후 회사에서의 이야기 그리고 퇴사 이야기에 대해서 잘 다니던(?) 회사를 그만두게 된 이유와 앞으로의 인생에 대한 고민들에 대해서 담담하게 적어 내려가 보려고 한 jaynamm.tistory.com   잘(?) 다니던 회사를.. 제이로그/회고 취업 후기 취준생 회고 회고 남제이입니다! https://jaynamm.tistory.com/368 https://jaynamm.tistory.com/entry/%ED%87%B4%EC%82%AC-%ED%9B%84-8%EA%B0%9C%EC%9B%94-%EA%B0%84%EC%9D%98-%EC%9D%B4%EC%95%BC%EA%B8%B0-%EA%B7%B8%EB%A6%AC%EA%B3%A0-%EC%83%88%EB%A1%9C%EC%9A%B4-%EC%8B%9C%EC%9E%91#entry368comment Fri, 28 Jul 2023 18:34:49 +0900 https://jaynamm.tistory.com/entry/%EC%9D%B4%EC%A0%A4-%EC%B5%9C%EC%A2%85-%EB%A9%B4%EC%A0%91-%ED%9B%84%EA%B8%B0-%EB%A9%B4%EC%A0%91-%EA%B2%B0%EA%B3%BC   기술 면접을 보고난 뒤 3일 뒤에 기술 면접에 합격했다는 연락을 받았다.      그리고는 대표님과의 인성 면접이 눈앞으로 다가왔다. 인성 면접 일정의 경우 기술 면접 합격을 통보받는 바로 다음 날 진행되었다.그래서 하루도 안되는 시간 동안 무엇을 준비해야할까 하는 생각에 아래의 사진과 같이 메일로 담당자분께 여쭈어보았다.     인성 면접은 다 거기서 거기겠지 라는 생각도 들었지만 그래도 무.. 제이로그/면접후기 eazel Eazel 최종 면접 이젤 이젤 최종 면접 남제이입니다! https://jaynamm.tistory.com/367 https://jaynamm.tistory.com/entry/%EC%9D%B4%EC%A0%A4-%EC%B5%9C%EC%A2%85-%EB%A9%B4%EC%A0%91-%ED%9B%84%EA%B8%B0-%EB%A9%B4%EC%A0%91-%EA%B2%B0%EA%B3%BC#entry367comment Wed, 26 Jul 2023 21:06:00 +0900 https://jaynamm.tistory.com/entry/%EB%A1%9C%EC%9D%B4%EB%93%9C%EC%BC%80%EC%9D%B4-%EA%B8%B0%EC%88%A0-%EB%A9%B4%EC%A0%91-%ED%9B%84%EA%B8%B0   이번에는 로이드케이 라는 기업에 서류에 합격해 면접을 보게 되었다.면접을 보기 전에 내가 찾아본 로이드케이에 대한 정보는 이랬다. Elastic 의 파트너쉽으로 활발한 활동을 하고 있고 Kafka 나 Hasicorp 의 Vault 와 같은 기술들을 통해 컨설팅을 진행하고 여러 기업의 프로젝트를 맡아하는 기업이라는 생각이 들었다. 그리고 로이드케이에서 운영중인 네이버 블로그도 보았는데 되게 재밌는 글들이 많았고 회사 내에서 기록용으로 정리하는.. 제이로그/면접후기 lloydk 기술면접 후기 로이드케이 로이드케이 기술면접 남제이입니다! https://jaynamm.tistory.com/366 https://jaynamm.tistory.com/entry/%EB%A1%9C%EC%9D%B4%EB%93%9C%EC%BC%80%EC%9D%B4-%EA%B8%B0%EC%88%A0-%EB%A9%B4%EC%A0%91-%ED%9B%84%EA%B8%B0#entry366comment Fri, 21 Jul 2023 15:42:36 +0900 https://jaynamm.tistory.com/entry/6%EA%B0%9C%EC%9B%94-%EA%B0%84%EC%9D%98-%ED%94%8C%EB%A0%88%EC%9D%B4%EB%8D%B0%EC%9D%B4%ED%84%B0-%EB%B6%80%ED%8A%B8%EC%BA%A0%ED%94%84-%EC%88%98%EB%A3%8C-%EA%B7%B8%EB%A6%AC%EA%B3%A0-%ED%9A%8C%EA%B3%A0   이번에 플레이데이터 부트 캠프를 수료하면서 지난 6개월을 되돌아봤다.23년을 시작하면서 취업을 준비하는 과정에서 취업하기 위해서 기초가 많이 부족하다고 생각했고 교육을 들으면서 취업을 준비하면 좋지 않을까 하는 생각에 여러 교육 프로그램을 찾아보다가 플레이데이터에서 진행하는 부트캠프를 보게 되었다. 다른 부트캠프와는 다른 점은 내가 관심있게 공부하고 있는 하둡과 스파크에 대한 과정이 들어있다는 점이었다. 그래서 나는 고민하지 않고 바로 신청.. 제이로그/회고 부트캠프 회고 빅데이터 엔지니어링 21기 엔코아 플레이데이터 플레이데이터 회고 남제이입니다! https://jaynamm.tistory.com/365 https://jaynamm.tistory.com/entry/6%EA%B0%9C%EC%9B%94-%EA%B0%84%EC%9D%98-%ED%94%8C%EB%A0%88%EC%9D%B4%EB%8D%B0%EC%9D%B4%ED%84%B0-%EB%B6%80%ED%8A%B8%EC%BA%A0%ED%94%84-%EC%88%98%EB%A3%8C-%EA%B7%B8%EB%A6%AC%EA%B3%A0-%ED%9A%8C%EA%B3%A0#entry365comment Thu, 20 Jul 2023 20:24:32 +0900 https://jaynamm.tistory.com/entry/%EC%9D%B4%EC%A0%A4-%EA%B8%B0%EC%88%A0-%EB%A9%B4%EC%A0%91-%ED%9B%84%EA%B8%B0   얼마 전 미술 전시와 관련된 플랫폼을 제공하는 이젤이란 기업에 지원하게 되었고 서류에 합격해 면접을 보게 되었다.매 번 화상 면접을 보거나 판교나 강남 위주의 기업들의 면접을 보다보니 서울 중구라는 곳에 처음 가보게 되었다.서울역에서 나와 걷다보니 바로 옆에 숭례문 있었다. 신기해 ㅎㅎ 면접을 보기 한시간 전에 도착해 카페에서 면접 준비를 했다.그리고 면접 시간 10분 전에 방문해서 잠시 기다렸다가 바로 면접을 보게 되었다.   면.. 제이로그/면접후기 eazel 면접 후기 이젤 이젤 기술 면접 남제이입니다! https://jaynamm.tistory.com/364 https://jaynamm.tistory.com/entry/%EC%9D%B4%EC%A0%A4-%EA%B8%B0%EC%88%A0-%EB%A9%B4%EC%A0%91-%ED%9B%84%EA%B8%B0#entry364comment Thu, 20 Jul 2023 18:57:55 +0900 https://jaynamm.tistory.com/entry/Mysql-OperationalError-1205-Lock-wait-timeout-exceeded-try-restarting-transaction-%EC%97%90%EB%9F%AC-%EB%B0%9C%EC%83%9D Mysql 에서 Insert 하는 과정에서 다음과 같이 에러가 발생했다. OperationalError: (1205, 'Lock wait timeout exceeded; try restarting transaction')   메시지를 보면 알 수 있듯이 트렌젝션의 수행시간이 초과되면 Lock 이 걸리는 것을 알 수 있다.만약 트랜젝션의 수행시간이 길다면 나누어서 실행하는 게 좋을 것 같다.   해결 방법은 다음과 같다.   m.. 데이터 엔지니어링/Database 'Lock wait timeout exceeded; try restarting transaction') Lock wait timeout exceeded MySQL OperationalError: (1205 남제이입니다! https://jaynamm.tistory.com/363 https://jaynamm.tistory.com/entry/Mysql-OperationalError-1205-Lock-wait-timeout-exceeded-try-restarting-transaction-%EC%97%90%EB%9F%AC-%EB%B0%9C%EC%83%9D#entry363comment Thu, 6 Jul 2023 11:05:36 +0900 https://jaynamm.tistory.com/entry/%EB%A0%88%EB%AA%AC%EB%B2%A0%EC%9D%B4%EC%8A%A4-%EC%82%AC%EC%A0%84-%EC%A7%88%EB%AC%B8-%EB%B0%8F-%EC%8B%A4%EB%AC%B4-%EB%A9%B4%EC%A0%91-%ED%9B%84%EA%B8%B0 두 달간의 면접 공백이 지나고 면접 기회가 찾아왔다.서류를 제출한 지 일주일 채 되지 않아 서류 합격이라는 연락이 오게 되었고 사전 질문을 작성해서 보내달라는 연락을 받게 되었다.사전 질문에 대한 내용이 채용 공고 맨 아래에 적혀있었는데 꼼꼼히 살펴보지 못한 내 실수였다. ㅎㅎ그래서 곧장 사전 질문을 살펴보고 열심히 작성하기 시작했던 것 같다.   사전 질문을 작성하려고 레몬베이스에 대한 여러 정보들을 살펴보는 데 너무 자세히 설명이 되어있었.. 제이로그/면접후기 lemonbase 레몬베이스 레몬베이스 면접 후기 면접 면접 후기 후기 남제이입니다! https://jaynamm.tistory.com/362 https://jaynamm.tistory.com/entry/%EB%A0%88%EB%AA%AC%EB%B2%A0%EC%9D%B4%EC%8A%A4-%EC%82%AC%EC%A0%84-%EC%A7%88%EB%AC%B8-%EB%B0%8F-%EC%8B%A4%EB%AC%B4-%EB%A9%B4%EC%A0%91-%ED%9B%84%EA%B8%B0#entry362comment Mon, 3 Jul 2023 19:06:05 +0900 https://jaynamm.tistory.com/entry/Github-%ED%94%84%EB%A1%9C%ED%95%84-README-%EA%BE%B8%EB%AF%B8%EA%B8%B0 Github 프로필을 꾸미기 전에 프로필이 존재 하지 않는다면 자기 계정의 이름으로 된 Github Repository 를 생성해주어야 한다.Repository 를 생성하게 되면 기본적으로 프로필을 보여주게 되는 README.md 파일이 생성되는데이 때 생성되는 README.md 파일을 수정해서 프로필을 꾸밀 수 있다.   프로필을 꾸밀 때 가져올 주소를 확인해보면 URL 과 물음표(?) 뒤에 파라미터를 통해 표시해주고 있다.예를 들어, htt.. 버전관리/git & github github profile github profile readme github readme 남제이입니다! https://jaynamm.tistory.com/361 https://jaynamm.tistory.com/entry/Github-%ED%94%84%EB%A1%9C%ED%95%84-README-%EA%BE%B8%EB%AF%B8%EA%B8%B0#entry361comment Fri, 9 Jun 2023 16:36:44 +0900 https://jaynamm.tistory.com/entry/MacOS-Ventura-Virtualbox-NSERRORFAILURE-%EC%97%90%EB%9F%AC-%ED%98%B8%EC%8A%A4%ED%8A%B8-%EB%84%A4%ED%8A%B8%EC%9B%8C%ED%81%AC-%EC%9D%B8%ED%84%B0%ED%8E%98%EC%9D%B4%EC%8A%A4-%EC%83%9D%EC%84%B1-%EC%8B%A4%ED%8C%A8 맥북을 통해 Virtualbox 를 설치했고 가상머신을 실행해서 외부에서 ssh 로 접속하려고 시도해봤지만 잘 되지 않았다. 실제로 Virtualbox Nat Networks 설정은 아래의 사진과 같이 되어있다.   그런데 게스트 IP 와 Port 를 통해 SSH 를 통해 외부에서 접속을 시도해봤지만 제대로 접속이 되지 않았다.아래의 사진과 같이 ping 도 제대로 되지 않은 상태이다.   그래서 찾아보다가 Virtualbox 는 .. 시스템/Virtual Machine nat networks 맥북 virtualbox 외부 ssh 접속 남제이입니다! https://jaynamm.tistory.com/360 https://jaynamm.tistory.com/entry/MacOS-Ventura-Virtualbox-NSERRORFAILURE-%EC%97%90%EB%9F%AC-%ED%98%B8%EC%8A%A4%ED%8A%B8-%EB%84%A4%ED%8A%B8%EC%9B%8C%ED%81%AC-%EC%9D%B8%ED%84%B0%ED%8E%98%EC%9D%B4%EC%8A%A4-%EC%83%9D%EC%84%B1-%EC%8B%A4%ED%8C%A8#entry360comment Wed, 7 Jun 2023 17:20:57 +0900 https://jaynamm.tistory.com/entry/Cloudera-Sandbox-HDP-for-Daocker-%EC%84%A4%EC%B9%98-%EA%B3%BC%EC%A0%95-%EC%A0%95%EB%A6%AC-ing 유데미에서 하둡 관련 강의를 듣는데 Cloudera Sandbox HDP 를 사용해서 하둡을 사용한다고 해서 설치 과정을 정리해봤다.   Cloudera Sandbox HDP 설치하기 Cloudera Sandbox HDP 설치는 아래의 사이트에서 진행할 수 있다. https://www.cloudera.com/downloads/hortonworks-sandbox/hdp.html   Hortonworks Data Platform (HD.. 데이터 엔지니어링/Hadoop 502 Bad Gateway 502 error Cloudera sandbox hdp 남제이입니다! https://jaynamm.tistory.com/359 https://jaynamm.tistory.com/entry/Cloudera-Sandbox-HDP-for-Daocker-%EC%84%A4%EC%B9%98-%EA%B3%BC%EC%A0%95-%EC%A0%95%EB%A6%AC-ing#entry359comment Mon, 29 May 2023 20:45:42 +0900 https://jaynamm.tistory.com/entry/docker-entrypointsh-%ED%8C%8C%EC%9D%BC%EC%9D%98-exec-%EB%AA%85%EB%A0%B9%EC%96%B4 dockerfile 에서 entrypoint.sh 파일을 작성하면서 exec $@ 명령어를 사용하는 것을 보고 궁금해서 찾아봤다.   내가 작성한 dockerfile 은 이렇게 작성되어있다. (...) # /etc/hadoop/*.xml 설정파일 변경 ADD entrypoint.sh /opt/hadoop/entrypoint.sh RUN chmod 755 /opt/hadoop/entrypoint.sh ENTRYPOINT ["/opt.. DevOps/Docker dockerfile entrypoint exec $@ 남제이입니다! https://jaynamm.tistory.com/358 https://jaynamm.tistory.com/entry/docker-entrypointsh-%ED%8C%8C%EC%9D%BC%EC%9D%98-exec-%EB%AA%85%EB%A0%B9%EC%96%B4#entry358comment Sun, 28 May 2023 21:19:05 +0900 https://jaynamm.tistory.com/entry/docker-compose-%EC%8B%A4%ED%96%89%EA%B3%BC-%EB%8F%99%EC%8B%9C%EC%97%90-%EC%A2%85%EB%A3%8Cexited-with-code-0 docker-compose 문제 docker-compose 를 통해 컨테이너를 동시에 실행시키려고 하니 다음과 같은 에러가 발생했다. 실행과 동시에 바로 종료가 되어 버린다...   그래서 원인을 찾아보니 docker container 는 하나의 명령어를 실행한다고 한다.명령어의 수행이 끝나면 당연히 컨테이너가 종료된다. 에러를 보았듯이 정상 종료가 되어 버린다.   이러한 이유에서 명령어를 주지 않거나 단순히 하나의 명령어만 실행할.. DevOps/Docker docker-compose docker-compose up exited with code 0 남제이입니다! https://jaynamm.tistory.com/357 https://jaynamm.tistory.com/entry/docker-compose-%EC%8B%A4%ED%96%89%EA%B3%BC-%EB%8F%99%EC%8B%9C%EC%97%90-%EC%A2%85%EB%A3%8Cexited-with-code-0#entry357comment Sun, 28 May 2023 17:55:05 +0900