대량의 온프레미스 데이터를 AWS로 마이그레이션할 계획인 고객들과 이야기를 나누다 보면 스토리지 관리를 간소화하고 비용을 절감하고 데이터에 대한 접근성을 높여 분석, 기계 학습, 유전체학 및 기타 사용 사례에 사용할 수 있기를 원한다고 말합니다. 고객은 이미 온프레미스에서 네트워크 연결 스토리지(NAS)를 사용하고 있으며 특정 시점 스냅샷, 데이터 클론, 사용자 관리 등 유사한 기능을 제공하는 클라우드 기반 업그레이드를 찾고 있습니다.
Amdocs, Vela Games, Astera Labs와 같은 AWS 고객은 데이터베이스, 게임 개발 및 스트리밍, 반도체 칩 설계와 같은 미션 크리티컬하고 성능 집약적인 NAS 워크로드를 Amazon FSx for OpenZFS에서 실행하고 있습니다. FSx에서 기존 SSD 스토리지 클래스를 사용하여 이러한 워크로드에 필요한 예측 가능한 고성능을 제공하고 있는 것입니다. 그러나 다른 많은 고객은 온프레미스 HDD 기반 또는 하이브리드 SSD/HDD 기반 NAS 스토리지에 대용량 데이터 세트를 저장하므로 데이터세트를 모든 SSD 스토리지로 이동하려면 비용이 많이 듭니다. 또한 이러한 고객은 예측할 수 없는 데이터세트를 위해 온프레미스에서 프로비저닝된 스토리지를 관리하고 공간 부족을 방지하는 것이 점점 더 어려워지고 비용이 많이 든다는 사실을 깨닫고 있습니다. 그들은 NAS 데이터가 차세대 모델, 투자 전략 또는 제품 구축을 위한 미래 가치를 제공할 수 있기 때문에 NAS 데이터를 더 오래 보관하고 있습니다. 하지만 비용을 최적화하려면 액세스 패턴을 모니터링하고 핫 스토리지 미디어와 콜드 스토리지 미디어 간에 데이터를 이동하는 데 더 많은 시간과 노력을 들여야 합니다.
FSx Intelligent-Tiering
이 모든 점을 고려하여, 현재 Amazon FSx for OpenZFS 파일 시스템과 함께 사용할 수 있는 새로운 Amazon FSx Intelligent-Tiering 스토리지 클래스에 대해 말씀드릴 수 있게 되어 기쁩니다. 이 새로운 스토리지 클래스는 기존 SSD 스토리지 클래스보다 85%, 기존 온프레미스 HDD 기반 배포에 비해 20% 저렴한 가격으로 NAS 데이터세트에 완전한 탄력성과 지능형 계층화를 제공합니다.
별도의 작업 없이 세 가지 스토리지 계층(Frequent Access, Infrequent Access, Archive) 간에 데이터를 이동할 수 있으므로 선결제 비용 또는 약정 없이 자동으로 비용을 절감할 수 있습니다. 계층의 작동 방식은 다음과 같습니다.
Frequent Access – 이 계층에는 지난 30일 이내에 액세스한 데이터가 저장됩니다.
Infrequent Access – 이 계층에는 30~90일 동안 액세스하지 않은 데이터가 저장되므로 Frequent Access에 비해 44%의 비용이 절감됩니다.
Archive – 이 계층에는 90일 이상 액세스하지 않은 데이터가 저장되므로 Infrequent Access보다 65%의 비용이 절감됩니다.
스토리지 계층에 관계없이 데이터는 중복성 및 가용성을 위해 여러 AWS 가용 영역(AZ)에 저장되며 밀리초 만에 즉시 검색할 수 있습니다.
스토리지를 관리하거나 사전 프로비저닝할 필요가 없기 때문에 이 스토리지 클래스는 유전체학, 재무 데이터 분석, 지진 이미지 분석, 기계 학습과 같이 스토리지 요구 사항이 며칠 또는 몇 주에 걸쳐 크게 변동할 수 있는 사용 사례에 매우 적합합니다.
비용 절감 효과와 함께 각 OpenZFS 파일 시스템에 대해 최대 40만 IOPS 및 초당 20GB의 처리량, 스토리지 클래스에 관계없이 모든 데이터에 대해 수십 밀리초의 TTFB(time-to-first-byte)라는 높은 성능을 얻을 수 있습니다. 또한 SSD 기반 읽기 캐시(64GiB~512TiB)를 구성하여 캐시된 데이터의 TTFB를 1/10에서 1/100까지 줄일 수 있습니다.
파일 시스템 생성
AWS Management Console, CLI, API 또는 AWS CloudFormation을 사용하여 파일 시스템을 생성할 수 있습니다. 콘솔에서 Create file system을 클릭하여 시작합니다.
Amazon FSx for OpenZFS를 선택하고 Next를 클릭합니다.
그런 다음 파일 시스템의 이름(jeff_fsx_openzfs_1)을 입력하고 Intelligent-Tiering 스토리지 클래스를 선택합니다. 원하는 Throughput capacity를 선택하고, 읽기 캐시의 3가지 sizing mode 옵션 중 하나를 선택하고, Next를 클릭한 다음 선택 사항을 확인하여 파일 시스템을 생성합니다.
몇 분 안에 준비가 완료되며 EC2 인스턴스에 NFS로 탑재할 수 있습니다.
대표 워크로드를 잠시 실행한 후 지표를 보고 파일 시스템의 성능을 검토할 수 있습니다.
처리량은 충분해 보이지만 읽기 캐시가 필요 이상으로 클 수 있습니다. 읽기 캐시를 생성할 때 선택한 Automatically Provisioned 모드가 3200GiB의 캐시를 할당했습니다. 몇 번의 클릭으로 이를 변경하고 비용을 절약할 수 있습니다.
필요에 따라 처리량 용량을 변경할 수도 있습니다.
Amazon FSx NAS 기능 및 특성
이제 FSx for OpenZFS와 FSx Intelligent-Tiering 스토리지 클래스를 NAS 수준 스토리지 요구 사항에 적합하게 만드는 몇 가지 기능을 간단히 살펴보겠습니다.
내장 백업 – Amazon FSx는 지정된 백업 기간 동안 각 파일 시스템을 매일 자동으로 백업하고 지정된 보존 기간 동안 유지합니다. 백업은 파일 시스템 일관성이 보장되고 내구성이 뛰어나며 증분식으로 이루어집니다. 직접 백업을 생성하여 필요한 기간 동안 유지할 수도 있습니다.
특정 시점 스냅샷 – 언제든지 OpenZFS 볼륨의 읽기 전용 이미지를 생성할 수 있습니다. 스냅샷은 파일 시스템 내에 저장되고 스토리지를 사용합니다. 스냅샷은 볼륨을 복원하거나, 개별 파일 및 폴더를 복원하거나, 새 볼륨을 클론 또는 전체 복사본으로 생성하는 데 사용할 수 있습니다.
복제 – OpenZFS 볼륨의 특정 시점 보기를 파일 시스템, AWS 리전 및 AWS 계정 간에 다른 볼륨으로 복제할 수 있습니다. FSx는 백그라운드에서 ZFS 송수신 기술을 사용하여 이러한 복제를 수행하고 파일 시스템 간의 네트워크 연결을 자동으로 설정 및 유지하여 중단을 처리하고 필요에 따라 데이터 전송을 재개합니다.
데이터 압축 – OpenZFS 볼륨에서 ZSTD 또는 LZ4 압축을 활성화하여 스토리지 비용을 절감하고 데이터 전송 속도를 높일 수 있습니다.
사용자 및 볼륨 할당량 – 개별 볼륨 또는 사용자가 사용하는 스토리지의 양을 제한할 수 있습니다.
알아야 할 사항
마무리하기 전에 참고해야 할 점을 몇 가지 소개합니다.
리전 – 이 새로운 스토리지 클래스는 미국 동부(오하이오, 버지니아 북부), 미국 서부(오리건), 아시아 태평양(뭄바이, 싱가포르, 시드니, 도쿄), 캐나다(중부) 및 유럽(프랑크푸르트, 아일랜드) AWS 리전에서 사용할 수 있습니다.
요금 – 요금은 사용된 기본 스토리지 용량(GB/월) 및 프로비저닝된 읽기 캐시(GB/월)를 기준으로 부과됩니다. 자세한 내용은 Amazon FSx for OpenZFS Pricing 요금 페이지를 참조하세요.
– Jeff