Lustre File System | 러스터 파일 시스템
병렬 분산 파일 시스템
주로 고성능 컴퓨팅의 대용량 파일 시스템으로 사용
Lustre 라는 이름은 Linux + Cluster 의 혼성어이다
Linux 기반 운영체제에서 실행되며 클라이언트-서버 네트워크 아키텍쳐를 사용
소규모 HPC 환경에서 초대형 슈퍼컴퓨터에 이르는 다양한 시스템에서 실행되는 응용 프로그램의 요구 사항을 충족하도록 확장되는 파일 시스템
Lustre File System Architectrue | 러스터 파일 시스템 구성
MGS | Management Server
MGS는 모든 Lustre 파일 시스템에 대한 구성 정보를 클러스터에 저장하고 이 정보를 다른 Lustre 호스트에 제공
서버와 클라이언트는 파일 시스템의 구성 로그를 검색하기 위해 시작시 MGS에 연결
서버 재시작을 포함하여 파일 시스템 구성 변경에 대한 알림은 MGS에 의해 배포
MGS는 HA(High Availability) 구성에서 각 서버가 공유 스토리지에 연결된 상태에서 MDS와 쌍을 이룰 수 있다.
단일 MGS로 여러 개의 Lustre 파일 시스템을 관리할 수 있다.
MGT | Management Target
모든 Lustre 노드에 대한 지속적인 구성 정보는 MGS에 의해 MGT 라는 저장 장치에 기록
MDS | Meta Data Servers | 메타데이터 서버
MDS는 Lustre 파일 시스템의 모든 네임 스페이스 작업을 관리한다.
Lustre File System 에는 항상 하나 이상의 MDS와 해당 MDT가 있다.
특정 환경의 확장 요구 사항을 충족시키기 위해 더 많은 MDS를 추가할 수 있다.
파일 작성 시 파일 컨텐츠에 대한 오브젝트 스토리지 서버의 스토리지 오브젝트 할당을 제어하고
파일 열기 및 닫기, 파일 삭제 및 이름 바꾸기, 기타 네임 스페이스 조작을 관리
MDT | Meta Data Targets | 메타데이터 타겟
파일 시스템의 디렉토리 계층 및 파일 정보를 가지고 있다.
파일 이름, 디렉토리, 액세스 권한 및 파일 레이아웃과 같은 네임 스페이스 메타 데이터를 저장
파일 시스템에 보유된 데이터에 대한 인덱스를 효과적으로 제공
OSS | Object Storage Server
Lustre 파일 시스템의 파일 내용을 위한 대량 저장소 제공
하나 이상의 OSS는 파일 데이터를 하나 이상의 OST에 저장
단일 Lustre 파일 시스템은 수 백개의 OSS로 확장 가능
단일 OSS는 2~8개의 OST를 제공
Lustre 파일 시스템의 용량은 모든 OSS 호스트에서 OST가 제공하는 용량의 합계
일반적으로 페어로 구성되며 각 페어는 OST를 저장하는 공유 외부 스토리지 인클로저에 연결된다
OST는 active-passive HA(High Availability) failover 구성에서 두 서버를 통해 엑세스 할 수 있어
서버 또는 구성 요소 장애시 서비스 연속성을 제공
* active-passive HA 구성
고 가용성 구성. 즉, 가용성이 높다. 장애가 발생해도 서비스를 계속해서 유지할 수 있다.
만약 클러스터로 묶인 2개의 서버 중 1대의 서버에서 장애가 발생할 경우, 다른 서버가 즉시 그 업무를 대신 수행하므 로, 시스템 장애를 불과 수 초에서 수 분 안에 복구할 수 있다
OST | Object Storage Target
OST는 한번에 하나의 서버에만 마운트되며
일반적으로 OSS 호스트에 고르게 분산되어 성능의 균형을 유지하고 처리량을 최대화 한다.
Lustre Client | 러스터 클라이언트
호스트에서 파일 시스템 마운트 지점으로 표시
파일 시스템의 모든 파일 및 데이터에 대한 통합 네임 스페이스를 애플리케이션에 제공
마운트 된 Lustre 파일 시스템은 다른 POSIX 파일 시스템과 매우 유사
각 Lustre 인스턴스는 클라이언트 운영 체제에서 별도의 마운트 지점으로 제공
각 클라이언트는 여러 다른 Lustre 파일 시스템 인스턴스를 동시에 마운트 가능
LNet | Lustre Networking
LNet은 클라이언트가 파일 시스템에 액세스하는 데 사용하는 고속 데이터 네트워크 프로토콜이다.
대규모 컴퓨팅 클러스터의 요구를 충족시키도록 설계 되었으며
매우 큰 노드 수와 높은 처리량에 최적화 되어있다.
이더넷, InginiBand, OPA, Cray Gemini와 같은 특정 컴퓨팅 패브릭을 지원
파일 시스템 자체에서 네트워크 세부 정보를 추상화
LNet을 사용하면 전체 RDMA 처리량과 사본이 없는 통신이 가능
라우팅을 지원하여 다양한 네트워크 토폴로지를 연결하는 데 최대한의 유연성 제공
참고 사이트
러스터 (파일 시스템) - 위키백과, 우리 모두의 백과사전
위키백과, 우리 모두의 백과사전.
ko.wikipedia.org
http://wiki.lustre.org/Introduction_to_Lustre
Introduction to Lustre - Lustre Wiki
Overview Lustre* is an open-source, global single-namespace, POSIX-compliant, distributed parallel file system designed for scalability, high-performance, and high-availability. Lustre runs on Linux-based operating systems and employs a client-server netwo
wiki.lustre.org