AWS Glue 아키텍처
2022. 5. 29. 18:19
Cloud/AWS
AWS Glue 가 무엇인지에 대해서 간단하게 알아봤다면 이번에는 AWS Glue 가 어떻게 구성되어 있고 어떻게 동작하는지에 대해서 정리해보려고 한다. AWS 에서 AWS Glue 의 아키텍처를 간단한 다이어그램을 통해 이해하기 쉽게 설명하고 있다. (그림을 너무 대충..) AWS 에서 예를 들어준 다이어그램에 대해서 정리해봤다. AWS Glue 는 데이터 스토어의 데이터를 크롤러를 통해 메타데이터를 가져와 데이터 카탈로그에 저장한다. 또는 데이터 카탈로그의 객체인 연결(Connection) 에 데이터 스토어의 연결 정보를 객체로 저장해놓고 크롤러를 통해 데이터 카탈로그에 저장할 수 있다. 이렇게 2가지 방법을 통해 데이터 카탈로그에 메타데이터를 저장할 수 있다. Data Store → Crawler ..