Amazon FSx
Amazon FSx
W pełni zarządzane systemy plików klasy enterprise. Cztery warianty: Windows File Server, Lustre, NetApp ONTAP i OpenZFS - każdy zoptymalizowany pod konkretne zastosowania.
Amazon FSx to rodzina w pełni zarządzanych systemów plików, które oferują natywną kompatybilność z popularnymi protokołami i systemami plików. W odróżnieniu od EFS (który obsługuje tylko NFS), FSx zapewnia wsparcie dla SMB, NFS, iSCSI i protokołu Lustre.
Dostępne są cztery warianty: FSx for Windows File Server (SMB z integracją Active Directory), FSx for Lustre (ultra-wydajny system plików HPC), FSx for NetApp ONTAP (multi-protokołowy enterprise storage) i FSx for OpenZFS (wydajny system plików z zaawansowanymi funkcjami). Każdy wariant jest w pełni zarządzany - AWS dba o hardware, patching, backupy i replikację.
FSx for Lustre Scratch oferuje przepustowość do 200 MB/s na TiB storage i jest idealny do krótkotrwałych obliczeń - dane nie są replikowane, więc jest najtańszy i najszybszy. Jeśli instancja się zatrzyma, dane mogą być utracone, ale to nie problem dla tymczasowych obliczeń HPC.
Jeśli masz dane w S3 i potrzebujesz szybkiego przetwarzania (ML training, HPC), użyj FSx for Lustre jako hot cache. Podłącz bucket S3 przy tworzeniu systemu plików - dane będą lazy-loaded przy pierwszym odczycie z pełną prędkością Lustre. Po zakończeniu obliczeń wyeksportuj wyniki do S3 i skasuj Lustre.
Amazon FSx dostarcza w pelni zarzadzane systemy plikow klasy enterprise. Wybierasz jeden z czterech typow (Lustre, Windows File Server, NetApp ONTAP, OpenZFS), konfigurujesz wydajnosc i pojemnosc, a AWS zajmuje sie infrastruktura, patchowaniem i backupami.
Wybor typu systemu plikow
FSx oferuje cztery typy: Lustre (HPC, ML, big data - throughput do 1 TB/s), Windows File Server (SMB, Active Directory, DFS), NetApp ONTAP (NFS/SMB/iSCSI, multi-protocol, snapshoty), OpenZFS (NFS, kompresja, klony). Kazdy typ jest zoptymalizowany pod inne workloady - wybor determinuje protokol, wydajnosc i integracje.
Konfiguracja pojemnosci i wydajnosci
Definiujesz pojemnosc storage (od 1.2 TB dla Lustre do 192 TB dla ONTAP) oraz throughput. W FSx for Lustre throughput jest powiazany z rozmiarem (50/100/200 MB/s na TB). W FSx for ONTAP i OpenZFS mozesz niezaleznie skalowac IOPS i throughput. Typ storage SSD vs HDD wplywa na latency i cene.
Integracja sieciowa (VPC i subnety)
System plikow jest deployowany w Twoim VPC z Elastic Network Interfaces w wybranych subnetach. Dla Multi-AZ (Windows, ONTAP) tworzony jest aktywny i standby node w roznych AZ. Security Groups kontroluja dostep sieciowy. Mozesz podlaczyc on-premise przez VPN lub Direct Connect.
Montowanie systemu plikow
Instancje EC2, kontenery ECS/EKS i workloady on-premise montuja FSx przez natywne protokoly: NFS (ONTAP, OpenZFS, Lustre), SMB (Windows, ONTAP), Lustre client. Kazdy typ uzywa standardowych narzedzi systemowych - mount dla NFS/Lustre, net use dla SMB. Nie potrzebujesz specjalnych agentow.
Backupy i ochrona danych
AWS automatycznie tworzy dzienne backupy (retencja konfigurowalna). Backupy sa inkrementalne - tylko zmienione bloki sa kopiowane do S3. Mozesz tworzyc snapshoty on-demand (ONTAP, OpenZFS) lub klony thin-provisioned (ONTAP). Backupy moga byc kopiowane miedzy regionami dla DR.
Kompresja i deduplikacja danych
FSx for ONTAP oferuje kompresje inline i deduplikacje - typowe oszczednosci 40-65% na pojemnosci. FSx for Lustre wspiera kompresje LZ4 na poziomie plikow. FSx for OpenZFS ma kompresje Z-Standard lub LZ4. Te mechanizmy dzialaja transparentnie - aplikacja widzi pelne dane, a platisz za rzeczywiscie zajete miejsce.
Praktyczne wskazowki do wdrazania FSx w produkcji - od doboru typu po optymalizacje kosztow i wydajnosci.
FSx for Lustre + S3 - akceleracja pipeline ML
Polacz FSx for Lustre z bucketem S3 jako data repository. Lustre automatycznie laduje dane z S3 przy pierwszym dostepie (lazy loading) i moze zapisywac wyniki z powrotem do S3. Daje to throughput do 1 TB/s dla trening ML zamiast waskego gardla S3 API. Po zakonczeniu treningu zwolnij system plikow - dane sa bezpiecznie w S3.
ZaawansowanyFSx for ONTAP - migracja NAS do chmury
Jezeli masz NetApp on-premise, FSx for ONTAP to najlatwiejsza sciezka migracji. Uzyj SnapMirror do replikacji danych do FSx. ONTAP obsluguje NFS i SMB jednoczesnie na tym samym wolumenie, wiec Linux i Windows moga wspoldzielic dane. Storage tiering automatycznie przenosi zimne dane na tanszy tier (do 80% oszczednosci).
ZaawansowanyMulti-AZ vs Single-AZ - kiedy co wybrac
Multi-AZ (dostepne dla Windows i ONTAP) daje automatyczny failover w ok. 30 sekund. Uzywaj dla produkcyjnych workloadow wymagajacych wysokiej dostepnosci. Single-AZ jest do 50% tanszy i wystarczy dla srodowisk dev/test, analityki batch i workloadow, ktore toleruja przerwy. Lustre i OpenZFS sa zawsze Single-AZ.
PoczatkujacyMonitoruj throughput i IOPS w CloudWatch
FSx emituje metryki DataReadBytes, DataWriteBytes, DataReadOperations, DataWriteOperations. Ustaw alarmy gdy uzycie przekracza 80% provisionowanego throughput. Dla Lustre monitoruj MetadataOperations - to czesty bottleneck przy milionach malych plikow. Dla ONTAP sprawdzaj StorageCapacityUtilization - auto-grow moze reagowac na 90% uzycia.
ZaawansowanySSD vs HDD - optymalizacja kosztowa
FSx for Lustre oferuje SSD (sub-ms latency, do 200 MB/s/TB) i HDD (do 12 MB/s/TB, 6x tanszy). Dla ML treningu z duzymi plikami sekwencyjnymi HDD wystarczy. Dla random I/O (bazy danych, kompilacja) potrzebujesz SSD. FSx for Windows ma rowniez SSD i HDD - HDD nadaje sie do home directories i archiwow.
PoczatkujacyScreenshoty z AWS Console
Wkrotce pojawia sie tu zrzuty ekranu pokazujace jak korzystac z Amazon FSx bezposrednio w konsoli AWS.
Do czego sluzy Amazon FSx?
Migracja udziałów Windows do chmury
FSx for Windows File Server obsługuje SMB, NTFS, Active Directory i DFS. Bezproblemowa migracja udziałów sieciowych z on-premises bez zmiany sposobu dostępu użytkowników.
Obliczenia HPC i trening ML
FSx for Lustre zapewnia przepustowość setek GB/s i miliony IOPS. Integruje się z S3 jako hot cache dla danych treningowych modeli ML i symulacji naukowych.
Enterprise NAS w chmurze
FSx for NetApp ONTAP oferuje multi-protokołowy dostęp (NFS, SMB, iSCSI), deduplikację, kompresję i snapshoty. Idealne zastępstwo dla on-premises NetApp.
Migracja workloadów Linux/ZFS
FSx for OpenZFS oferuje snapshoty, klony, kompresję i niski latency. Idealne do migracji aplikacji Linux wymagających zaawansowanych funkcji systemu plików.
Co musisz wiedziec?
FSx for Windows File Server
Zarządzany system plików Windows z protokołem SMB 2.0-3.1.1, NTFS, Active Directory, DFS namespaces i DFS replication. Single-AZ lub Multi-AZ z automatycznym failover. SSD lub HDD storage.
FSx for Lustre
Ultra-wydajny system plików POSIX dla HPC. Przepustowość do setek GB/s, miliony IOPS, latency poniżej milisekundy. Trzy typy: Scratch (tymczasowy, najszybszy), Persistent_1, Persistent_2. Natywna integracja z S3.
FSx for NetApp ONTAP
Multi-protokołowy system plików (NFS, SMB, iSCSI) z funkcjami enterprise NetApp: FlexClone, SnapMirror, deduplikacja, kompresja, tiering do S3. Obsługa wielu wolumenów na jednym systemie plików.
FSx for OpenZFS
Zarządzany system plików OpenZFS z obsługą snapshotów, klonów, kompresji (LZ4/ZSTD) i NFS. Do 1 miliona IOPS i latency poniżej 0.5 ms. Idealne dla baz danych i aplikacji Linux.
Deployment Type
Single-AZ - niższy koszt, dane w jednej strefie dostępności. Multi-AZ - automatyczny failover do standby w drugiej AZ, wyższy koszt ale lepsza dostępność dla aplikacji produkcyjnych.
Data Compression
Automatyczna kompresja danych zmniejszająca koszty storage. ONTAP i OpenZFS oferują kompresję inline (LZ4, ZSTD). Lustre obsługuje kompresję LZ4. Kompresja jest transparentna dla aplikacji.
Architektura: HPC cluster z FSx for Lustre i integracja S3
Architektura high-performance computing z FSx for Lustre jako wspoldzielony system plikow dla klastra obliczeniowego. Dane zrodlowe sa w S3, Lustre zapewnia niskolatencyjny dostep, a wyniki wracaja do S3.
Ile kosztuje Amazon FSx?
FSx for Windows File Server
Opłata za GB-miesiąc provisionowanego storage (SSD lub HDD) plus opcjonalny throughput capacity.
SSD: $0.13/GB-mies., HDD: $0.013/GB-mies. + throughput
FSx for Lustre
Opłata za GB-miesiąc storage. Cena zależy od typu deploymentu i throughput per unit of storage.
Persistent SSD 125 MB/s/TiB: $0.145/GB-mies.
FSx for NetApp ONTAP
Opłata za SSD storage, throughput capacity i opcjonalny capacity pool (tiering do S3).
SSD: $0.125/GB-mies. + $1.20/MB/s throughput
FSx for OpenZFS
Opłata za GB-miesiąc SSD storage i provisioned throughput capacity.
SSD: $0.09/GB-mies. + throughput capacity
Przyklady AWS CLI
Utwórz FSx for Windows
Tworzy system plików Windows z integracją Active Directory
aws fsx create-file-system \
--file-system-type WINDOWS \
--storage-capacity 300 \
--storage-type SSD \
--subnet-ids subnet-0123456789abcdef0 \
--windows-configuration ThroughputCapacity=32,ActiveDirectoryId=d-0123456789Utwórz FSx for Lustre z S3
Tworzy system plików Lustre zintegrowany z bucketem S3
aws fsx create-file-system \
--file-system-type LUSTRE \
--storage-capacity 1200 \
--storage-type SSD \
--subnet-ids subnet-0123456789abcdef0 \
--lustre-configuration DeploymentType=PERSISTENT_2,PerUnitStorageThroughput=250,ImportPath=s3://my-data-bucketUtwórz FSx for ONTAP
Tworzy multi-protokołowy system plików NetApp ONTAP
aws fsx create-file-system \
--file-system-type ONTAP \
--storage-capacity 1024 \
--storage-type SSD \
--subnet-ids subnet-0123456789abcdef0 subnet-0123456789abcdef1 \
--ontap-configuration DeploymentType=MULTI_AZ_1,ThroughputCapacity=256Utwórz backup systemu plików
Tworzy manualny backup systemu plików FSx
aws fsx create-backup \
--file-system-id fs-0123456789abcdef0 \
--tags Key=Name,Value=weekly-backupQuiz: Amazon FSx
Sprawdz czy dobrze rozumiesz podstawy. Kliknij odpowiedz — feedback pojawi sie od razu.
1. Który wariant FSx najlepiej nadaje się do migracji udziałów Windows z on-premises?
2. Który wariant FSx oferuje najwyższą wydajność dla obliczeń HPC?
3. Który wariant FSx obsługuje jednocześnie NFS, SMB i iSCSI?
4. Czym FSx for Lustre wyróżnia się w integracji z S3?
Czesto uzywane razem z Amazon FSx
Chcesz poznac Amazon FSx w praktyce?
Darmowy kurs "AWS od podstaw" pokazuje jak uzywac Amazon FSx krok po kroku. Teoria + praktyka od zera.