EBS, EFS i reszta - storage poza S3
S3 to object storage i jest świetny do plików, backupów, danych analitycznych. Ale nie nadaje się do wszystkiego. Nie uruchomisz na nim systemu operacyjnego. Nie zamountujesz go jak dysku sieciowego. Do tego potrzebujesz block storage (EBS) i file storage (EFS). Zrozumienie różnic między nimi to fundament pracy z AWS i ważne zagadnienie na egzaminie.
Amazon EBS (Elastic Block Store)
EBS to wirtualny dysk twardy dla instancji EC2. Każda instancja EC2 potrzebuje co najmniej jednego wolumenu EBS (root volume) na system operacyjny.
Typy wolumenów EBS
SSD-based (do baz danych i systemów operacyjnych):
- gp3 / gp2 (General Purpose SSD) - domyślny wybór. Zbalansowany stosunek ceny do wydajności. gp3 pozwala niezależnie konfigurować IOPS i throughput (tańszy niż gp2!)
- io2 / io1 (Provisioned IOPS SSD) - najwyższa wydajność. Do baz danych wymagających stale wysokich IOPS (np. produkcyjna baza Oracle, Cassandra). Drogie, ale gwarantowane parametry
HDD-based (do big data i sekwencyjnych operacji):
- st1 (Throughput Optimized HDD) - wysoki throughput, niski koszt. Do data warehouse, logów, Hadoop
- sc1 (Cold HDD) - najtańszy EBS. Do danych rzadko pobieranych
Kluczowe cechy EBS
- EBS volume istnieje w jednej strefie dostępności (AZ)
- Aby przenieść dane do innej AZ, tworzysz EBS Snapshot (backup w S3)
- Ze snapshota możesz odtworzyć volume w dowolnej AZ tego regionu
- EBS Snapshots są inkrementalne - każdy kolejny backup zapisuje tylko zmiany
- Encryption - EBS wspiera szyfrowanie at-rest i in-transit (AES-256)
Instance Store - dysk efemeryczny
Niektóre typy instancji EC2 mają fizyczny dysk na serwerze (Instance Store). Ekstremalnie szybki (miliony IOPS), ale:
- Dane są tracone przy stop/terminate instancji!
- Nie można go odłączyć ani podłączyć do innej instancji
- Idealny do: cache, tymczasowych plików, buforów
- Dane trwałe (persist po stop/start)
- Można odłączyć i podłączyć do innej instancji (w tej samej AZ)
- Snapshoty do backupu
- Ograniczona do jednej AZ
- Dane efemeryczne (tracone przy stop!)
- Fizycznie na serwerze, ekstremalnie szybki
- Brak snapshotów
- Nie da się odłączyć
Amazon EFS (Elastic File System)
EFS to zarządzany sieciowy system plików (NFS) dla Linuxa. W odróżnieniu od EBS, EFS może być mountowany jednocześnie przez setki lub tysiące instancji EC2.
- Automatycznie skaluje się (od kilku KB do petabajtów)
- Dostępny w wielu AZ jednocześnie (Regional)
- Protokół NFSv4
- Płacisz za faktycznie używany storage (nie provisionujesz rozmiaru z góry)
- Klasy storage: Standard i Infrequent Access (z Lifecycle Management)
Amazon FSx
FSx to zarządzane systemy plików third-party na AWS:
- FSx for Windows File Server - pełny Windows file server z SMB, Active Directory, DFS. Do migracji workloadów Windows
- FSx for Lustre - wysokowydajny system plików do HPC, machine learning, modelowania finansowego. Integracja z S3
- FSx for NetApp ONTAP - wieloprotokołowy (NFS, SMB, iSCSI). Do migracji storage NetApp
- FSx for OpenZFS - wydajny system plików z zaawansowanymi funkcjami (kompresja, snapshoty)
Firma migruje do AWS i ma trzy różne wymagania:
- Baza danych MySQL - potrzebuje dysku z niską latencją, trwałego → EBS gp3
- Shared folder z dokumentami (Linux) - 20 serwerów czyta te same pliki → EFS
- Archiwum zdjęć i dokumentów - miliony plików, rzadko pobierane → S3 Standard-IA
Każde wymaganie to inny typ storage. Nie ma jednego rozwiązania na wszystko.
AWS Storage Gateway
Storage Gateway to most między on-premises a AWS storage. Przydatny przy migracji lub środowiskach hybrydowych:
- S3 File Gateway - lokalne serwery widzą S3 jako NFS/SMB mount
- FSx File Gateway - lokalne cache dla FSx for Windows File Server
- Volume Gateway - block storage z backupem w S3 (Stored/Cached)
- Tape Gateway - emulacja biblioteki taśm z backupem w S3/Glacier
- OS/baza danych na EC2 → EBS (gp3 domyślnie, io2 dla wymagających baz)
- Shared file system (Linux) → EFS
- Shared file system (Windows) → FSx for Windows
- HPC / ML training data → FSx for Lustre
- Obiekty, backupy, statyczne pliki → S3
- Tymczasowy cache, buffer → Instance Store
- Hybrid (on-prem + cloud) → Storage Gateway
- Archiwum długoterminowe → S3 Glacier / Deep Archive
- EBS = block storage, wirtualny dysk dla EC2 (jedna AZ)
- EBS typy: gp3/gp2 (SSD general), io2/io1 (SSD high perf), st1/sc1 (HDD)
- EBS Snapshots = inkrementalne backupy w S3
- Instance Store = efemeryczny, ekstremalnie szybki, dane tracone przy stop
- EFS = zarządzany NFS, multi-AZ, współdzielony przez wiele instancji (Linux)
- FSx = managed file systems (Windows File Server, Lustre, ONTAP, OpenZFS)
- Storage Gateway = most on-premises ↔ AWS
- Dobór storage zależy od: trwałości, wydajności, współdzielenia, protokołu
20 instancji EC2 (Linux) musi jednocześnie czytać i zapisywać do wspólnego systemu plików. Co wybierzesz?
Instancja EC2 z Instance Store jest zatrzymana (Stop). Co się dzieje z danymi na Instance Store?
Firma migruje serwer Windows z on-premises, który wymaga SMB i Active Directory. Jaki file system w AWS?