awscli 를 설치하고나서 aws --version 명령어를 통해 버전을 확인하려고 하니 다음과 같이 에러가 발생했다. $ aws --version Traceback (most recent call last): File "/opt/homebrew/bin/aws", line 19, in import awscli.clidriver File "/opt/homebrew/Cellar/awscli/2.13.38/libexec/lib/python3.11/site-packages/awscli/clidriver.py", line 21, in import botocore.session File "/opt/homebrew/Cellar/awscli/2.13.38/libexec/lib/python3.11/site-packag..

AWS  프리티어를 사용하게 되면 기본적으로 EC2 인스턴스의 t2 유형을 사용할 수 있다.프리티어가 계속해서 적용되어있다면 t2 를 사용하는 것이 효율적이라고 생각되지만 1년이 지나고 프리티어가 적용되지 않는다면 t2 를 계속해서 사용하는 것이 효율적인가에 대한 고민이 들거라고 생각한다.또한 프리티어에서 기본적으로 제공해주는 ec2 t2.micro 인스턴스 유형의 경우 CPU 1 core, RAM 1GB 를 제공해주고 있다.그렇기에 t2 인스턴스 유형으로 만들어진 ec2 에서 작업을 수행할 때 리소스 부족으로 문제가 발생할 수 있다. 그럼 t2 를 사용하기에는 리소스가 부족하고 조금 더 큰 리소스를 가지는 인스턴스 유형으로 변경하고자 할 때 많은 고민이 생긴다.당연히 비용에 대한 고민이다. 리소스를 증..

구글 클라우드 플랫폼에서 공부하면서 사용했던 프로젝트를 지우려고 보니 선취권과 관련된 내용과 함께 프로젝트를 삭제할 수 없다는 메시지가 나왔다. 내용을 캡쳐해놨어야하는데... ... Deletion blocked by Dialogflow. ... 그래서 해당 내용에 대해서 찾아보니 다음과 같이 에러를 해결했고 프로젝트를 삭제할 수 있었다. 먼저 구글 클라우드 플랫폼에 접속해서 우측 상단에 있는 버튼을 통해 Cloud Shell 을 활성화한다. 접속해서 프로젝트 ID 를 통해 Cloud Shell 에서 사용할 프로젝트를 설정해준다. gcloud config set project [PROJECT_ID] 그리고 아래의 명령어를 통해 리소스 매니저의 선취권 리스트를 확인할 수 있다. gcloud alpha re..

AWS Glue 에서 사용하는 기본적인 용어에 대해서 정리해봤다. AWS 에서 제공해주는 설명서에도 자세히 설명되어있지만 이해가 잘 되지 않는 부분을 보완해서 정리해봤다. 데이터 카탈로그 - AWS Glue Data Catalog AWS Glue의 영구적 메타데이터 스토어입니다. 테이블 정의, 작업 정의 및 기타 관리 정보를 포함하여 AWS Glue 환경을 관리합니다. 각 AWS 계정에는 리전당 AWS Glue Data Catalog 하나가 있습니다. 리전당 하나씩 만들게 만든 이유는 아마 한 곳에서 통합해 데이터를 관리하기 위함이라고 생각하면 될 것 같다. 간단하게 AWS Glue 에서 사용하기 위한 메타데이터를 저장하기 위한 저장소라고 생각하면 된다. 데이터베이스 - Database 논리 그룹으로 구..

AWS Glue 가 무엇인지에 대해서 간단하게 알아봤다면 이번에는 AWS Glue 가 어떻게 구성되어 있고 어떻게 동작하는지에 대해서 정리해보려고 한다. AWS 에서 AWS Glue 의 아키텍처를 간단한 다이어그램을 통해 이해하기 쉽게 설명하고 있다. (그림을 너무 대충..) AWS 에서 예를 들어준 다이어그램에 대해서 정리해봤다. AWS Glue 는 데이터 스토어의 데이터를 크롤러를 통해 메타데이터를 가져와 데이터 카탈로그에 저장한다. 또는 데이터 카탈로그의 객체인 연결(Connection) 에 데이터 스토어의 연결 정보를 객체로 저장해놓고 크롤러를 통해 데이터 카탈로그에 저장할 수 있다. 이렇게 2가지 방법을 통해 데이터 카탈로그에 메타데이터를 저장할 수 있다. Data Store → Crawler ..

정리하기 앞서, 이번 글에서는 AWS Glue 에 대한 자세한 내용보다는 AWS Glue 가 무엇이고 어떤 특징을 가지고 있고 언제 사용하면 좋은지에 대한 맛보기에 가깝다고 생각하면 된다. AWS Glue 가 뭐지? AWS Glue 는 간단하게 ETL 서비스라고 할 수 있는데 ETL 서비스에 대해서 이해하고 있다면 보다 쉽게 AWS Glue 에 대해 이해할 수 있고 Data Warehouse 의 개념이나 구조에 대해서도 어느 정도 이해가 있으면 좋다고 생각한다. AWS 에서는 다음과 같이 AWS Glue 에 대해서 정의하고 있다. "완전 관리형 추출(Extract), 변환(Transform), 저장(Load) ETL 서비스" 추출하고 변환해서 다시 저장하는 ETL 서비스를 완전히 AWS Glue 를 통해..

# 공부하면서 정리한 내용이기 때문에 다소 부족한 부분이 있습니다. # 부족한 부분에 대해서 피드백해주시면 감사합니다 ! 클라우드(Cloud) ? 클라우드가 무엇이냐고 물어본다면 어떻게 대답할 수 있을까? 내가 이해하고 있는 클라우드는 인터넷을 통해(가상으로) 필요한 *컴퓨터 자원을 사용하는 만큼에 대해서만 비용을 지불하고 사용할 수 있는 서비스라고 생각한다. 여기서 핵심은 필요한 컴퓨팅 자원에 대한 비용만 지불하면 된다는 것 아닐까? * 컴퓨팅 자원? 여기서 말하는 컴퓨팅 자원이란 CPU, 메모리, 디스크 등 물리적 자원을 말한다. 최근에는 컴퓨팅 자원뿐만 아니라 데이터베이스, 로깅 등 다양한 서비스 또한 제공해주기 때문에 클라우드 서비스를 통해 다양한 서비스를 제공하고 관리할 수 있다. 그럼 클라우드..