AWS Storage Gateway
AWS Storage Gateway
Hybrydowy storage łączący lokalną infrastrukturę z chmurą AWS. Trzy typy gateway: File (NFS/SMB do S3), Volume (iSCSI) i Tape (wirtualna biblioteka taśm).
AWS Storage Gateway to usługa hybrydowego storage, która łączy lokalną infrastrukturę (on-premises) z chmurą AWS. Działa jako brama (gateway) instalowana w Twoim data center jako maszyna wirtualna (VMware, Hyper-V, KVM) lub hardware appliance dostarczany przez AWS.
Dostępne są trzy typy: File Gateway (udostępnia buckety S3 przez NFS/SMB), Volume Gateway (wolumeny iSCSI z backupem do S3/EBS) i Tape Gateway (wirtualna biblioteka taśm zastępująca fizyczne taśmy). Dane są cache-owane lokalnie dla szybkiego dostępu, a w tle synchronizowane z AWS. Idealne rozwiązanie do stopniowej migracji do chmury.
Tape Gateway może zaoszczędzić nawet 80% kosztów w porównaniu do fizycznych taśm backup. Nie musisz kupować napędów taśmowych, magazynować taśm ani zarządzać ich transportem do off-site storage. Wirtualne taśmy w Glacier Deep Archive kosztują około $1/TB miesięcznie.
Przy File Gateway ustaw odpowiedni rozmiar lokalnego cache SSD. Cache powinien pokrywać "working set" - dane aktywnie używane przez aplikacje. Zbyt mały cache powoduje częste pobieranie danych z S3, co zwiększa latency i koszty transferu. AWS zaleca minimum 150 GB cache na start.
AWS Storage Gateway to usluga hybrydowa laczaca infrastrukture on-premise z chmura AWS. Deployujesz wirtualna maszyne (VM) lub urzadzenie hardware w swoim data center, a Storage Gateway transparentnie rozszerza local storage o nieograniczona pojemnosc S3, S3 Glacier i EBS.
Wybor typu gateway
S3 File Gateway - udostepnia buckety S3 jako udzialy NFS/SMB, pliki sa przechowywane jako obiekty S3. Volume Gateway - prezentuje wolumeny iSCSI backowane S3, dostepne jako EBS snapshoty. Tape Gateway - emuluje biblioteke tasmowa (VTL) dla oprogramowania backupowego, tasmy lezac w S3 lub Glacier.
Deployment gateway (VM lub hardware)
Pobierasz obraz VM (VMware ESXi, Hyper-V, KVM) lub zamawiasz hardware appliance. VM wymaga min. 4 vCPU, 16 GB RAM. Konfigurujesz lokalne dyski jako cache (SSD dla czesto uzywanych danych) i upload buffer. Gateway laczy sie z AWS przez internet lub Direct Connect - ruch jest szyfrowany TLS.
Konfiguracja lokalnego cache
Lokalny cache SSD przechowuje najczesciej uzywane dane on-premise z pelna predkoscia LAN. Rozmiar cache determinuje ile danych jest dostepnych lokalnie bez latency do chmury. Zalecane: cache powinien miescic working set (dane uzywane w ostatnich dniach). Typowo 150 GB do 64 TB per gateway.
Integracja z S3 i klasami storage
S3 File Gateway mapuje katalogi na prefixy S3, a pliki na obiekty. Metadane POSIX (uprawnienia, timestamps) sa zapisywane jako S3 metadata. Mozesz ustawic domyslna klase storage (Standard, IA, One Zone-IA). Lifecycle policies na buckecie automatycznie przenosa stare dane do Glacier.
Monitorowanie i zarzadzanie
CloudWatch metryki: CacheHitPercent (powinien byc >80%), CachePercentUsed, CloudBytesUploaded, UploadBufferPercentUsed. Alarmy na CachePercentDirty >90% sygnalizuja problem z uploadem do S3. AWS Management Console pokazuje status gateway, health checks i bandwidth usage.
Bezpieczenstwo i szyfrowanie
Dane w tranzycie sa szyfrowane TLS 1.2. Dane at-rest w S3 moga byc szyfrowane SSE-S3 lub SSE-KMS. Volume Gateway szyfruje lokalne dane AES-256. Dostep do udzialow kontrolujesz przez Active Directory (SMB) lub NFS exports z ograniczeniami IP. IAM role na gateway kontroluja dostep do AWS API.
Praktyczne wskazowki do wdrazania Storage Gateway w srodowiskach hybrydowych - od doboru typu po optymalizacje przepustowosci i disaster recovery.
File Gateway do migracji udzialow NAS
Zamiast kosztownego rozszerzania on-premise NAS, postaw S3 File Gateway. Uzytkownicy widza udzialy NFS/SMB jak wczesniej, ale dane leza w S3 z nieograniczona pojemnoscia. Migracja: skopiuj istniejace dane na File Gateway (robocopy/rsync), przekieruj mount pointy. Koszty S3 sa typowo 70-80% nizsze niz rozbudowa SAN/NAS.
PoczatkujacyTape Gateway - eliminacja fizycznych tasm
Oprogramowanie backupowe (Veeam, Commvault, Veritas) widzi Tape Gateway jako standardowa biblioteke tasmowa LTO. Wirtualne tasmy leza w S3, zarchiwizowane w Glacier. Zero zmian w procedurach backupowych. Oszczednosci vs fizyczne tasmy: brak hardware, brak transportu offsite, brak degradacji mediow. Retencja Glacier Deep Archive kosztuje ok. $1/TB/miesiac.
ZaawansowanyRozmiar cache - kluczowy parametr wydajnosci
Zbyt maly cache = czeste odczyty z S3 (latency 50-200ms vs <1ms lokal). Monitoruj CacheHitPercent w CloudWatch - ponizej 80% oznacza za maly cache. Zasada: cache >= 120% dziennego working setu. Dla File Gateway z 1 TB aktywnych danych potrzebujesz min. 1.2 TB cache SSD. Mozesz dodac dyski cache bez restartu gateway.
ZaawansowanyVolume Gateway do disaster recovery
Volume Gateway tworzy EBS snapshoty wolumenow on-premise. W przypadku awarii DC tworzysz EBS volumes ze snapshotow i podlaczasz do EC2. Cached mode przechowuje dane w S3 z lokalnym cache. Stored mode trzyma pelne dane lokalnie i asynchronicznie replikuje do S3. Dla DR testuj odtworzenie raz na kwartal.
ZaawansowanyBandwidth management i throttling
Storage Gateway moze saturowac lacze internetowe. Skonfiguruj bandwidth throttling w konsoli - osobno dla uploadu i downloadu. Typowo: ogranicz upload do 50-70% dostepnego pasma w godzinach pracy, pelne pasmo w nocy. Dla wiekszych wdrozen (>5 TB danych) rozwaaz AWS Direct Connect zamiast VPN.
PoczatkujacyScreenshoty z AWS Console
Wkrotce pojawia sie tu zrzuty ekranu pokazujace jak korzystac z AWS Storage Gateway bezposrednio w konsoli AWS.
Do czego sluzy AWS Storage Gateway?
Rozszerzenie lokalnego storage o chmurę
File Gateway udostępnia niemal nieograniczone buckety S3 jako udziały NFS/SMB. Lokalne aplikacje widzą je jak zwykłe foldery sieciowe, a dane są przechowywane w S3.
Backup wolumenów do AWS
Volume Gateway tworzy snapshoty wolumenów iSCSI do S3 jako EBS snapshoty. Możesz odtworzyć wolumeny w chmurze EC2 w ramach disaster recovery.
Zastąpienie fizycznych taśm backup
Tape Gateway emuluje bibliotekę taśm (VTL) dla oprogramowania backup (Veeam, Veritas, Commvault). Wirtualne taśmy są przechowywane w S3 i archiwizowane w Glacier.
Migracja danych do chmury
Stopniowe przenoszenie danych z on-premises do S3 bez przerywania pracy aplikacji. Dane są replikowane w tle, a lokalni użytkownicy korzystają z cache.
Co musisz wiedziec?
File Gateway (S3 File Gateway)
Udostępnia buckety S3 jako udziały NFS (v3/v4.1) lub SMB. Pliki zapisywane lokalnie są przesyłane do S3 jako obiekty. Metadane POSIX/NTFS zachowane jako S3 metadata. Lokalny cache dla szybkiego dostępu do ostatnio używanych plików.
Volume Gateway - Cached
Wolumeny iSCSI z danymi przechowywanymi w S3. Lokalny cache przechowuje najczęściej używane dane. Pojemność do 32 wolumenów po 32 TB każdy. Snapshoty EBS w S3 do backupu i DR.
Volume Gateway - Stored
Wolumeny iSCSI z pełnymi danymi przechowywanymi lokalnie. Asynchroniczna replikacja do S3 jako EBS snapshoty. Niski latency - wszystkie dane lokalne. Pojemność do 32 wolumenów po 16 TB.
Tape Gateway
Wirtualna biblioteka taśm (VTL) kompatybilna z popularnym oprogramowaniem backup. Wirtualne taśmy przechowywane w S3, archiwizowane w Glacier lub Deep Archive. Do 1500 taśm wirtualnych, każda do 5 TB.
Gateway Appliance
Forma wdrożenia gateway: maszyna wirtualna (VMware ESXi, Hyper-V, KVM, EC2) lub dedykowany hardware appliance dostarczony przez AWS. Wymaga lokalnego cache na dyskach SSD.
Refresh Cache
Operacja odświeżania lokalnego cache File Gateway, aby odzwierciedlić zmiany wprowadzone bezpośrednio w buckecie S3. Konieczna gdy pliki są modyfikowane w S3 poza gateway.
Architektura: Hybrydowy storage z AWS Storage Gateway
Architektura hybrydowa laczaca data center on-premise z AWS przez Storage Gateway. Lokalni uzytkownicy maja szybki dostep do danych przez cache, podczas gdy dane sa trwale przechowywane w S3 z automatyczna archiwizacja.
Ile kosztuje AWS Storage Gateway?
Storage w S3/Glacier
Standardowe ceny S3 za przechowywane dane. Typ storage zależy od klasy S3 (Standard, IA, Glacier).
S3 Standard: $0.023/GB-mies., Glacier: $0.004/GB-mies.
Żądania i transfer
Standardowe opłaty S3 za żądania (PUT, GET) i transfer danych wychodzących z AWS.
$0.005/1000 żądań PUT, $0.09/GB transfer out
Tape Gateway - Virtual Tapes
Opłata za przechowywanie wirtualnych taśm w S3 i archiwizację w Glacier. Retrieval z Glacier płatny osobno.
S3: $0.023/GB-mies., Glacier: $0.004/GB-mies.
Hardware Appliance
Opcjonalny dedykowany hardware od AWS. Jednorazowy zakup dla klientów bez środowiska wirtualizacji.
Jednorazowa opłata za urządzenie (kontakt z AWS)
Przyklady AWS CLI
Wyświetl listę gateway
Listuje wszystkie Storage Gateway w Twoim koncie AWS
aws storagegateway list-gateways \
--region eu-central-1Utwórz udział NFS (File Gateway)
Tworzy udział NFS na File Gateway mapowany do bucketu S3
aws storagegateway create-nfs-file-share \
--client-token my-nfs-share \
--gateway-arn arn:aws:storagegateway:eu-central-1:123456789012:gateway/sgw-12345678 \
--role arn:aws:iam::123456789012:role/StorageGatewayRole \
--location-arn arn:aws:s3:::my-file-share-bucket \
--default-storage-class S3_STANDARDUtwórz snapshot wolumenu
Tworzy EBS snapshot wolumenu Volume Gateway
aws storagegateway create-snapshot \
--volume-arn arn:aws:storagegateway:eu-central-1:123456789012:gateway/sgw-12345678/volume/vol-12345678 \
--snapshot-description "Weekly backup"Odśwież cache File Gateway
Odświeża lokalny cache aby odzwierciedlić zmiany w S3
aws storagegateway refresh-cache \
--file-share-arn arn:aws:storagegateway:eu-central-1:123456789012:share/share-12345678 \
--folder-list "/"Quiz: AWS Storage Gateway
Sprawdz czy dobrze rozumiesz podstawy. Kliknij odpowiedz — feedback pojawi sie od razu.
1. Który typ Storage Gateway udostępnia buckety S3 przez NFS/SMB?
2. Czym różni się Volume Gateway Cached od Stored?
3. Gdzie Storage Gateway może być wdrożony?
4. Do czego służy Tape Gateway?
Czesto uzywane razem z AWS Storage Gateway
Chcesz poznac AWS Storage Gateway w praktyce?
Darmowy kurs "AWS od podstaw" pokazuje jak uzywac AWS Storage Gateway krok po kroku. Teoria + praktyka od zera.