awscli 를 설치하고나서 aws --version 명령어를 통해 버전을 확인하려고 하니 다음과 같이 에러가 발생했다. $ aws --version Traceback (most recent call last): File "/opt/homebrew/bin/aws", line 19, in import awscli.clidriver File "/opt/homebrew/Cellar/awscli/2.13.38/libexec/lib/python3.11/site-packages/awscli/clidriver.py", line 21, in import botocore.session File "/opt/homebrew/Cellar/awscli/2.13.38/libexec/lib/python3.11/site-packag..

AWS 프리티어를 사용하게 되면 기본적으로 EC2 인스턴스의 t2 유형을 사용할 수 있다. 프리티어가 계속해서 적용되어있다면 t2 를 사용하는 것이 효율적이라고 생각되지만 1년이 지나고 프리티어가 적용되지 않는다면 t2 를 계속해서 사용하는 것이 효율적인가에 대한 고민이 들거라고 생각한다. 또한 프리티어에서 기본적으로 제공해주는 ec2 t2.micro 인스턴스 유형의 경우 CPU 1 core, RAM 1GB 를 제공해주고 있다. 그렇기에 t2 인스턴스 유형으로 만들어진 ec2 에서 작업을 수행할 때 리소스 부족으로 문제가 발생할 수 있다. 그럼 t2 를 사용하기에는 리소스가 부족하고 조금 더 큰 리소스를 가지는 인스턴스 유형으로 변경하고자 할 때 많은 고민이 생긴다. 당연히 비용에 대한 고민이다. 리소스..

AWS Glue 에서 사용하는 기본적인 용어에 대해서 정리해봤다. AWS 에서 제공해주는 설명서에도 자세히 설명되어있지만 이해가 잘 되지 않는 부분을 보완해서 정리해봤다. 데이터 카탈로그 - AWS Glue Data Catalog AWS Glue의 영구적 메타데이터 스토어입니다. 테이블 정의, 작업 정의 및 기타 관리 정보를 포함하여 AWS Glue 환경을 관리합니다. 각 AWS 계정에는 리전당 AWS Glue Data Catalog 하나가 있습니다. 리전당 하나씩 만들게 만든 이유는 아마 한 곳에서 통합해 데이터를 관리하기 위함이라고 생각하면 될 것 같다. 간단하게 AWS Glue 에서 사용하기 위한 메타데이터를 저장하기 위한 저장소라고 생각하면 된다. 데이터베이스 - Database 논리 그룹으로 구..

AWS Glue 가 무엇인지에 대해서 간단하게 알아봤다면 이번에는 AWS Glue 가 어떻게 구성되어 있고 어떻게 동작하는지에 대해서 정리해보려고 한다. AWS 에서 AWS Glue 의 아키텍처를 간단한 다이어그램을 통해 이해하기 쉽게 설명하고 있다. (그림을 너무 대충..) AWS 에서 예를 들어준 다이어그램에 대해서 정리해봤다. AWS Glue 는 데이터 스토어의 데이터를 크롤러를 통해 메타데이터를 가져와 데이터 카탈로그에 저장한다. 또는 데이터 카탈로그의 객체인 연결(Connection) 에 데이터 스토어의 연결 정보를 객체로 저장해놓고 크롤러를 통해 데이터 카탈로그에 저장할 수 있다. 이렇게 2가지 방법을 통해 데이터 카탈로그에 메타데이터를 저장할 수 있다. Data Store → Crawler ..

정리하기 앞서, 이번 글에서는 AWS Glue 에 대한 자세한 내용보다는 AWS Glue 가 무엇이고 어떤 특징을 가지고 있고 언제 사용하면 좋은지에 대한 맛보기에 가깝다고 생각하면 된다. AWS Glue 가 뭐지? AWS Glue 는 간단하게 ETL 서비스라고 할 수 있는데 ETL 서비스에 대해서 이해하고 있다면 보다 쉽게 AWS Glue 에 대해 이해할 수 있고 Data Warehouse 의 개념이나 구조에 대해서도 어느 정도 이해가 있으면 좋다고 생각한다. AWS 에서는 다음과 같이 AWS Glue 에 대해서 정의하고 있다. "완전 관리형 추출(Extract), 변환(Transform), 저장(Load) ETL 서비스" 추출하고 변환해서 다시 저장하는 ETL 서비스를 완전히 AWS Glue 를 통해..