(Stephane Maarek의 Udemy AWS Certified Solutions Architect Associate 강의를 참고했습니다.)
1. AWS Snowball
AWS Snowball은 대용량 데이터를 AWS로 가져오거나 외부로 내보낼 때 사용하는 고보안의 휴대용 물리적 스토리지 장비다. 인터넷을 통한 전송 대신 물리적인 장비를 이용하므로 수십 TB에서 PB(페타바이트) 규모의 데이터까지 빠르고 안전하게 이전할 수 있다. 또한 Snowball은 단순 데이터 저장 뿐만 아니라 엣지 환경, 즉 데이터가 직접적으로 생성되는 환경에서 데이터 수집 및 처리까지 수행할 수 있다. 따라서 인터넷 대역폭이 부족하거나 네트워크 비용이 높은 경우, 대용량 데이터 이전이 필요한 환경에서의 데이터 처리 및 데이터 마이그레이션을 수행할 때 매우 유용하다.
Snowball의 데이터를 Glacier에 직접 불러오는 것은 불가능하다. 이때에는 Amazon S3에서 수명 주기 정책을 생성하여 이를 이용해 데이터를 Amazon Glacier로 이동시킬 수 있다.
2. Amazon FSx
Amazon FSx는 AWS에서 완전 관리형 서비스로 타사의 고성능 파일 시스템을 실행시키는 기능이다. RDS에서 AWS에 MySQL이나 PostgreSQL을 실행하는 것과 비슷한 개념으로 이해할 수 있다. 여러 서비스가 지원되지만, 가장 대표적인 파일 시스템 4가지를 자세히 살펴보도록 하겠다.
1) FSx for Windows
우선 FSx for Windows는 완전 관리형 Windows 파일 시스템 서비스이다. 윈도우 환경에서 사용하는 파일 공유 서버를 AWS에서 손쉽게 구축할 수 있으며, SMB(Server Message Block) 프로토콜과 윈도우 NTFS 파일 시스템을 기본적으로 지원한다. 윈도우 기반 애플리케이션과 높은 호환성을 제공하며, 기존 온프레미스 윈도우 파일 서버를 AWS로 이전하거나 하이브리드 환경을 구성할 때 많이 사용된다.
Linux EC2 인스턴스에 마운트될 수 있으며, 마이크로소프트의 DFS(Distributed File Systems) Namespace를 지원하여 여러 개의 FSx 파일 시스템을 하나의 논리적인 파일 시스템처럼 구성할 수 있다. 성능 면에서는 초당 수십 GB의 처리량과 수백만 IOPS, 수백 PB 규모의 데이터 저장을 지원하여 대규모 엔터프라이즈 환경에서도 사용할 수 있는 높은 성능을 제공한다.
스토리지 옵션으로는 낮은 지연 시간이 중요한 경우 SSD, 일반적인 파일 저장소를 원하는 경우 HDD 중에서 선택 가능하며, 기존 온프레미스 환경에서도 사용 가능하기 때문에 하이브리드 환경 구축에 적합하다. Multi-AZ 구성 지원을 통해 높은 가용성을 제공하고, 매일 자동으로 S3에 데이터를 백업한다.
2) FSx for Lustre
두 번째로 살펴볼 것은 FSx for Lustre이다. Lustre는 Linux와 Cluster의 합성어로, 대규모 병렬 컴퓨팅을 위해 설계된 분산 파일 시스템이다. 매우 높은 처리량과 낮은 지연 시간을 제공하여 고성능 컴퓨팅(HPC), 머신러닝, 비디오 처리, 금융 모델링, 전자 설계 자동화, 대규모 데이터 분석 등에서 주로 사용된다. 초당 수백 GB의 처리량과 수백만 IOPS, 1ms 미만의 낮은 지연 시간이라는 높은 성능을 바탕으로 대규모 연산이 필요한 환경을 제공해주며, 마찬가지로 워크로드 특성에 따라 SSD와 HDD 중에 스토리지 유형을 선택할 수 있다.
FSx for Lustre의 가장 큰 특징 중 하나는 S3와의 긴밀한 통합이다. S3에 저장된 객체를 파일 시스템처럼 접근할 수 있으며, 별도로 데이터를 복사하지 않고도 연산 작업을 수행할 수 있다. 또한 연산이 완료된 결과를 S3에 저장하여 장기 보관하거나 다른 AWS 서비스와 연계할 수 있다. 또한 기존 온프레미스 서버에서도 사용 가능하기 때문에 하이브리드 환경 구축에도 용이하다.
FSx for Lustre는 워크로드 특성에 따라 Scratch File System과 Persistent File System 두 가지 배포 옵션을 제공한다. 두 옵션의 가장 큰 차이는 데이터의 지속성과 성능, 그리고 사용 목적이다.
Scratch File System은 임시 데이터 저장을 위한 파일 시스템이다. 빠른 데이터 처리에 초점을 맞춘 옵션으로, 파일이 복제되지 않기 때문에 파일 서버에 장애 발생 시 저장 데이터가 유실될 수 있다. 대신 복제 작업이 없어 높은 성능을 제공하며, Persistent File System보다 최대 6배 높은 성능을 제공한다. 따라서 결과를 다시 생성할 수 있는 데이터나 일회성 작업에 적합하다.
반면, Persistent File System은 장기간 데이터 보관을 위한 파일 시스템이다. Scratch와 달리 동일한 가용 구역 내에서 데이터를 자동으로 복제하므로 파일 서버에 장애가 발생하더라도 데이터가 유지된다. 또한 장애가 발생한 파일 서버는 몇 분 내에 자동으로 교체되어 서비스가 빠르게 복구된다. Scratch보다 성능은 다소 낮지만, 데이터의 안정성과 내구성이 중요한 환경에 적합하다.
3) FSx for NetAPP ONTAP
FSx for NetApp ONTAP은 NetApp의 ONTAP 파일 시스템을 AWS에서 완전관리형으로 제공하는 서비스다. 기존에 온프레미스에서 NetApp NAS(Network Attached Storage) 또는 ONTAP 스토리지를 사용하던 기업이 별도의 애플리케이션 수정 없이 AWS로 이전할 수 있도록 설계되었다. Windows와 Linux를 모두 지원하며, 다양한 파일 및 블록 스토리지 프로토콜을 제공하여 엔터프라이즈 환경에서 많이 활용된다.
FSx for NetApp ONTAP은 리눅스 및 유닉스 환경에서 사용하는 NFS, 윈도우 파일 공유 프로토콜인 SMB, 블록 스토리지를 제공하는 iSCSI 등 다양한 프로토콜을 지원한다. 즉, 하나의 파일 시스템으로 Linux, 윈도우, 블록 스토리 환경까지 모두 지원할 수 있다. 또한 리눅스, 윈도우, MacOS와 다양한 AWS 서비스 등 온프레미스 및 클라우드 환경을 모두 지원하여 하이브리드 스토리지 환경 구축에도 적합하다.
자동 스토리지 확장 기능을 제공하며, NetAPP ONTAP의 스냅샷, 복제, 압축, 중복 데이터 제거 등 강력한 데이터 관리 기능을 그대로 제공하기 때문에 저장 공간을 절약하고 데이터 보호 기능도 강화할 수 있다. 또한 특정 시점의 데이터를 스냅샷 기반으로 거의 즉시 복제하여 새로운 볼륨을 생성하는 Point-in-Time Clone 기능을 제공하여 개발 환경 구축, 테스트 환경 생성 등을 위해 운영 데이터를 빠르게 복제하여 사용할 수 있다.
4) FSx for OpenZFS
FSx for OpenZFS는 OpenZFS 파일 시스템을 AWS에서 완전관리형으로 제공하는 서비스다. OpenZFS는 높은 성능과 데이터 무결성, 스냅샷 기능으로 잘 알려진 파일 시스템으로, 주로 리눅스 및 유닉스 계열 환경에서 많이 사용된다. 기존에 ZFS 기반의 스토리지를 사용하던 환경을 AWS로 손쉽게 이전할 수 있다. FSx for OpenZFS는 NFS 프로토콜을 지원하기 때문에 리눅스 및 유닉스 기반 애플리케이션에서 파일 시스템을 손쉽게 마운트하여 사용할 수 있다.
FSx for OpenZFS는 리눅스, 윈도우, MacOS와 다양한 AWS 서비스 등 온프레미스 및 클라우드 환경을 모두 지원하여 하이브리드 스토리지 환경 구축에도 적합하다. 고성능 워크로드를 지원하도록 설계되어 최대 백만 IOPS와 0.5ms 미만의 지연 시간을 제공하는 높은 성능을 자랑한다. OpenZFS의 스냅샷, 압축 등 데이터 관리 기능을 그대로 제공하며, 마찬가지로 Point-in-Time Clone 기능을 제공하여 개발 환경 구축, 테스트 환경 생성 등을 위해 운영 데이터를 빠르게 복제하여 사용할 수 있다.
3. AWS Storage Gateway
AWS에서는 클라우드와 온프레미스를 함께 사용하는 하이브리드 클라우드를 적극 지원한다. 하이브리드 클라우드를 사용하는 이유로는 여러 가지가 있을 수 있는데, 우선 클라우드 이전에 걸리는 시간이 오래 걸리며, 보안 정책이나 법률 등의 이유로 일부 데이터는 반드시 내부 데이터센터에 보관해야 하는 경우가 있기 때문이다. 회사의 IT 전략으로 하이브리드 클라우드를 구축하기도 한다.
하지만 온프레미스 환경에서는 NFS, SMB, iSCSI와 같은 스토리지 프로토콜을 사용하는 반면, S3는 자체적인 Object Storage API를 사용한다. 따라서 둘의 통신을 위해서는 중간에 이를 변환해주는 통역사 역할이 필요한데, 이를 수행하는 것이 Storage Gateway이다. Storage Gateway는 S3 File Gateway, Volume Gateway, Tape Gateway 3가지 종류가 있다.
1) S3 File Gateway
S3 File Gateway는 온프레미스 환경에서 사용하는 NFS 또는 SMB 프로토콜을 통해 Amazon S3를 파일 시스템처럼 사용할 수 있도록 해주는 서비스이다. 가장 최근에 사용한 데이터를 로컬에 캐싱한다는 특징을 가지며, S3 Standard, S3 Standard IA, S3 One Zone-IA, S3 Intelligent-Tiering까지 여러 스토리지 클래스를 지원한다. 생명 주기 정책을 통해 Glacier로도 전환할 수 있다.
각 File Gateway에는 IAM Role을 연결할 수 있다. 이를 통해 해당 게이트웨이가 접근할 수 있는 S3 버킷이나 객체에 대한 권한을 세밀하게 제어할 수 있으며, 별도의 Access Key를 관리하지 않아도 안전하게 S3에 접근할 수 있다. SMB 프로토콜을 사용하는 경우에는 마이크로소프트 Active Directory(AD)와 통합할 수 있어 기존 윈도우 환경과 동일한 방식으로 사용자 인증 등을 수행할 수 있다.
2) Volume Gateway
iSCSI 프로토콜을 사용하여 온프레미스 서버에 블록 스토리지를 제공하는 서비스로, Volume Gateway의 데이터는 EBS 스냅샷 형태로 S3에 저장된다. 따라서 온프레미스 서버 장애 발생 시 복구하거나 재해 복구 등에 활용될 수 있다. 즉, Volume Gateway는 백업 및 복구를 지원하는 서비스이다.
Volume Gateway는 두 가지 모드를 제공한다. Cached Volumes는 데이터를 주로 AWS에 저장하고 자주 사용하는 데이터만 로컬에 캐시하는 방식으로, 온프레미스 저장 공간이 부족하거나 자주 사용하는 데이터만 빠르게 접근하고 싶은 경우에 사용한다. Stored Volumes는 데이터를 온프레미스에 저장하고, 주기적으로 AWS에 백업하는 방식이다. 데이터를 반드시 온프레미스에 보관해야 하거나 규제 혹은 보안적인 요구사항이 있는 경우 활용된다.
3) Tape Gateway
몇몇 회사에서는 물리적인 테이프를 활용해 백업 처리를 하기도 한다. Tape Gateway는 이를 가상의 환경에서 수행할 수 있도록 지원하는 서비스이다. 기업은 기존 백업 소프트웨어와 백업 절차를 그대로 유지하면서도 실제 물리적 테이프 대신 AWS 클라우드에 데이터를 저장할 수 있다. 따라서 물리적 테이프를 관리할 필요도 사라졌다.
Tape Gateway는 실제 테이프 라이브러리처럼 동작하는 가상의 저장소인 VTL(Virtual Tape Library)을 제공한다. 온프레미스의 백업 소프트웨어는 이를 물리적인 테이프 장비로 인식하므로, 기존 백업 방식을 변경할 필요가 없다. Tape Gateway에 저장된 가상 테이프는 S3나 S3 Glacier에 저장한다.
4. AWS Transfer Family
AWS Transfer Family는 S3나 EFS와 데이터를 안전하게 주고받을 수 있도록 지원하는 완전관리형 파일 전송 서비스이다. 기존 파일 전송 프로토콜을 그대로 사용할 수 있기 때문에, 시스템을 크게 변경하지 않고도 AWS 스토리지와 쉽게 연동할 수 있다. 기업 간 파일을 공유하거나 공개 데이터셋 제공 등의 업무에서 활용된다.
지원하는 파일 전송 프로토콜은 FTP(File Transfer Protocol), FTPS(File Transfer Protocol over SSL/TLS), SFTP(Secure File Transfer Protocol)이다. 완전 관리형 서비스로, 자동 확장과 높은 신뢰성, 다중 가용 영역을 활용한 고가용성을 제공하며 운영 및 유지보수의 부담을 줄여준다.
또한 사용자 자격 증명을 자체적으로 관리할 수 있으며, 기존 인증 시스템과도 쉽게 통합할 수 있다. Microsoft Active Directory, LDAP, Okta, Amazon Cognito 등의 인증 시스템을 지원한다. 요금은 사용한 만큼 지불한다. 프로비저닝된 엔드포인트 사용 시간 및 전송된 데이터 용량(GB 단위)을 기준으로 요금이 부과된다. 따라서 초기 인프라 구축 비용 없이 필요한 만큼만 서비스를 사용할 수 있다.
5. AWS DataSync
AWS DataSync는 온프레미스 스토리지, 다른 클라우드, AWS 스토리지(S3, EFS, FSx) 간의 대용량 데이터를 빠르고 안전하게 전송 및 동기화하는 완전관리형 데이터 전송 서비스이다. 데이터 마이그레이션, 백업, 아카이빙, 데이터 복제 등의 작업을 자동화하여 복잡한 데이터 이동 과정을 간소화할 수 있다. 온프레미스 서버나 다른 클라우드의 데이터를 AWS로 전송하는 경우, DataSync Agent를 설치해야 하며 NFS, SMB, HDFS 등의 프로토콜을 지원한다.
수백 GB에서 수 PB에 이르는 대용량 데이터를 효율적으로 전송할 수 있도록 설계되어 일반적인 복사 방식보다 빠르고 안정적으로 데이터를 이동할 수 있다. 또한 변경된 데이터만 동기화하는 증분 전송도 지원하여 반복적인 데이터 복제 작업에 적합하다. 데이터 복제 작업은 매시간, 매일, 매주 주기로 자동 예약할 수 있으며, 데이터 전송 시 파일의 권한 뿐만 아니라 메타데이터도 함께 유지된다.
DataSync는 하나의 Agent 작업 당 최대 10Gbps의 전송 성능을 제공한다. 또한 네트워크 사용량을 조절하기 위해 Bandwidth Limit 기능을 제공하여 업무 시간에는 대역폭을 제한하고, 야간에는 최대 속도로 전송하도록 구성할 수 있다.
'클라우드 > AWS' 카테고리의 다른 글
| AWS의 컨테이너: ECS, Fargate, ECR 및 EKS (0) | 2026.07.16 |
|---|---|
| 디커플링 애플리케이션(SQS, SNS, Kinesis) (0) | 2026.07.16 |
| CloudFront와 AWS Global Accelerator (0) | 2026.07.14 |
| S3에 대해서 알아보자 (0) | 2026.07.13 |
| Elastic Beanstalk란? (0) | 2026.07.12 |