AWS DataSync
AWS DataSync
Automatyczny transfer danych do i z AWS. Synchronizuj dane on-premises z S3, EFS i FSx do 10x szybciej niż narzędzia open-source - z weryfikacją integralności.
AWS DataSync to zarządzany serwis do szybkiego i automatycznego transferu danych między storage on-premises a serwisami AWS (S3, EFS, FSx) oraz między serwisami AWS. DataSync jest do 10x szybszy niż typowe narzędzia open-source dzięki dedykowanemu protokołowi sieciowemu.
DataSync automatycznie obsługuje szyfrowanie, walidację integralności danych, throttling przepustowości i harmonogramowanie zadań. Wymaga zainstalowania agenta w środowisku on-premises (jako maszyna wirtualna VMware/Hyper-V lub instancja EC2).
AWS DataSync wykorzystuje dedykowany protokół sieciowy zaprojektowany specjalnie do szybkiego transferu danych. Optymalizuje transfer przez kompresję w locie, transfer równoległy i inteligentne zarządzanie połączeniami. Przy łączu 10 Gbps DataSync może przenieść 1 PB danych w około 26 dni!
Zawsze włączaj weryfikację integralności (VerifyMode) - DataSync porówna sumy kontrolne każdego pliku po transferze. Dla dużych transferów w godzinach pracy ustaw bandwidth throttling, a pełną przepustowość zaplanuj na noc przez harmonogram zadań (cron expression w schedule).
AWS DataSync to serwis do automatycznego transferu danych miedzy on-premise storage a AWS (S3, EFS, FSx) oraz miedzy serwisami AWS. Obsluguje transfery jednorazowe i cykliczne z walidacja integralnosci danych.
Instalacja agenta DataSync (on-premise)
Dla transferow z on-premise pobierasz agenta DataSync jako VM image (VMware, Hyper-V, KVM) lub uruchamiasz na EC2. Agent laczy sie z Twoim storage (NFS, SMB, HDFS, Object Storage) i z serwisem DataSync w AWS. Agent kompresuje i szyfruje dane przed przeslaniem. Dla transferow miedzy serwisami AWS agent nie jest potrzebny.
Konfiguracja lokalizacji zrodlowej i docelowej
Definiujesz lokalizacje: zrodlowa (NFS/SMB share on-premise, S3, EFS, FSx, HDFS) i docelowa (S3 z wyborem storage class, EFS, FSx for Windows/Lustre/OpenZFS/NetApp). Mozesz transferowac miedzy dowolnymi lokalizacjami - np. EFS do S3 lub S3 miedzy regionami.
Tworzenie taska z filtrami
Task definiuje co, skad i dokad kopiowac. Konfigurujesz: filtry (include/exclude patterns), zachowanie metadanych (permissions, timestamps), opcje weryfikacji (checksum per plik), bandwidth limit, opcje obslugi istniejacych plikow (overwrite, preserve). Task moze transferowac miliony plikow i petabajty danych.
Uruchomienie transferu (Task Execution)
Uruchamiasz task recznie lub konfigurujesz schedule (np. co godzine, codziennie o 2:00). DataSync porownuje zrodlo i cel (incremental transfer - kopiuje tylko zmienione pliki). Transfer uzywa dedykowanego protokolu zoptymalizowanego pod przepustosc - znacznie szybciej niz rsync czy robocopy.
Weryfikacja integralnosci danych
DataSync automatycznie weryfikuje integralnosc przeslanych danych porownujac checksumy miedzy zrodlem a celem. Mozesz wlaczyc dodatkowa weryfikacje po zakonczeniu transferu (compare metadata). Raport wykonania pokazuje: ile plikow skopiowano, ile pominieto, bledy i czas transferu.
Monitorowanie i automatyzacja
DataSync wysyla metryki do CloudWatch (BytesTransferred, FilesTransferred, BytesThroughput). EventBridge emituje eventy o statusie transferu - mozesz triggerowac Lambda po zakonczeniu (np. start przetwarzania danych). Logi w CloudWatch Logs pokazuja szczegoly per-plikowe dla debugowania.
Praktyczne wskazowki z wdrazania AWS DataSync - od optymalizacji transferu po automatyzacje procesow danych.
DataSync vs inne metody transferu
DataSync jest optymalny dla cyklicznych transferow i migracji duzych wolumenow (TB-PB). Dla jednorazowego transferu < 1 TB uzyj AWS CLI (aws s3 sync). Dla real-time replikacji uzyj S3 Replication lub EFS Replication. Dla transferu offline (brak lacza) uzyj Snow Family. DataSync osiaga do 10 Gbps per agent.
PoczatkujacyOptymalizacja przepustowosci
Jeden agent DataSync moze przesylac do 10 Gbps. Dla wiekszej przepustowosci uzyj wielu agentow z roznymi taskami. Wlacz kompresje in-transit (domyslnie wlaczona). Jezeli lacze WAN jest wazkim gardlem, ustaw bandwidth limit aby nie zaklucac innego ruchu. DataSync automatycznie uzywa wielu strumieni rownoleglych.
ZaawansowanyIncremental transfer i scheduling
DataSync domyslnie wykonuje incremental transfer - porownuje zrodlo z celem i kopiuje tylko zmienione pliki. Uzyj scheduling do cyklicznych synchronizacji (np. co godzine). Dla duzych zbiorow danych pierwszy transfer moze trwac dni, ale kolejne sa szybkie (tylko delta). Monitoruj metryki FilesSkipped vs FilesTransferred.
PoczatkujacyTransfer z zachowaniem metadanych
DataSync moze zachowac: POSIX permissions (uid/gid/mode), timestamps (mtime/atime), ACL (NFS4/POSIX). Dla migracji plikow do EFS lub FSx to kluczowe - zachowujesz wlasnosc i uprawnienia. Dla transferu do S3 metadane sa zapisywane jako user-defined metadata obiektu.
ZaawansowanyAutomatyzacja post-transfer z EventBridge
Skonfiguruj regule EventBridge na event DataSync TaskExecutionSucceeded. Lambda moze: wyslac powiadomienie o zakonczeniu, uruchomic Glue job do przetworzenia danych, zaktualizowac baze danych, lub zainicjowac kolejny task. To buduje automatyczny pipeline danych: transfer -> przetwarzanie -> analiza.
PoczatkujacyScreenshoty z AWS Console
Wkrotce pojawia sie tu zrzuty ekranu pokazujace jak korzystac z AWS DataSync bezposrednio w konsoli AWS.
Do czego sluzy AWS DataSync?
Migracja danych do chmury
Przenieś pliki z NAS/NFS/SMB on-premises do Amazon S3, EFS lub FSx szybko i z pełną weryfikacją integralności.
Synchronizacja hybrydowa
Utrzymuj kopię danych on-premises w AWS na bieżąco - harmonogramuj zadania synchronizacji co godzinę, dziennie lub tygodniowo.
Transfer między serwisami AWS
Kopiuj dane między S3, EFS i FSx w tym samym lub różnych regionach - np. replikacja do regionu DR.
Archiwizacja danych
Przenoś rzadko używane dane z lokalnych serwerów plików do S3 Glacier, redukując koszty storage on-premises.
Co musisz wiedziec?
Agent
Maszyna wirtualna (VMware/Hyper-V/KVM) lub instancja EC2 instalowana on-premises. Odpowiada za transfer danych do/z AWS.
Task
Zadanie transferu definiujące źródło, cel, filtry, harmonogram i opcje transferu (np. weryfikacja, usuwanie plików).
Location
Endpoint źródłowy lub docelowy: NFS share, SMB share, HDFS, S3 bucket, EFS file system lub FSx file system.
Task Execution
Pojedyncze uruchomienie zadania transferu. Możesz śledzić postęp, przetransferowane bajty i liczbę plików.
Filtering
Filtrowanie plików do transferu na podstawie wzorców (include/exclude). Np. przenieś tylko pliki *.csv starsze niż 30 dni.
Bandwidth Throttling
Ograniczanie przepustowości transferu, aby nie obciążać łącza produkcyjnego. Konfigurowalne na poziomie zadania.
Architektura: Migracja danych on-premise z DataSync
Architektura migracji danych z on-premise NFS do AWS S3 z DataSync, z automatycznym przetwarzaniem po zakonczeniu transferu.
Ile kosztuje AWS DataSync?
Transfer danych
Płacisz za GB skopiowanych danych. Cena zależy od źródła i celu transferu.
$0.0125/GB dla transferu on-premises do AWS
Transfer między serwisami AWS
Transfer między S3, EFS i FSx w tym samym regionie lub między regionami.
$0.0125/GB (w ramach regionu), $0.025/GB (cross-region)
Agent
Agent jest darmowy. Płacisz tylko za zasoby VM (CPU, RAM) na których działa i za przetransferowane dane.
Agent: $0 (wymagane min. 4 vCPU, 32 GB RAM)
Przyklady AWS CLI
Utwórz agenta DataSync
Aktywuje agenta DataSync zainstalowanego on-premises za pomocą klucza aktywacyjnego
aws datasync create-agent \
--activation-key ABCDE-12345-FGHIJ-67890-KLMNO \
--agent-name moj-agent-onprem \
--tags Key=Environment,Value=ProductionUtwórz lokalizację NFS
Konfiguruje źródło danych NFS na serwerze on-premises
aws datasync create-location-nfs \
--server-hostname 192.168.1.100 \
--subdirectory /exports/dane \
--on-prem-config '{"AgentArns":["arn:aws:datasync:eu-west-1:123456789012:agent/agent-id"]}'Utwórz zadanie transferu
Tworzy zadanie transferu z NFS on-premises do bucketu S3 z harmonogramem
aws datasync create-task \
--source-location-arn arn:aws:datasync:eu-west-1:123456789012:location/loc-nfs \
--destination-location-arn arn:aws:datasync:eu-west-1:123456789012:location/loc-s3 \
--name "sync-nfs-do-s3" \
--schedule '{"ScheduleExpression":"cron(0 2 * * ? *)"}' \
--options '{"VerifyMode":"ONLY_FILES_TRANSFERRED","LogLevel":"BASIC"}'Uruchom zadanie ręcznie
Rozpoczyna natychmiastowe wykonanie zadania transferu z filtrowaniem
aws datasync start-task-execution \
--task-arn arn:aws:datasync:eu-west-1:123456789012:task/task-id \
--includes '[{"FilterType":"SIMPLE_PATTERN","Value":"*.csv|*.parquet"}]'Quiz: AWS DataSync
Sprawdz czy dobrze rozumiesz podstawy. Kliknij odpowiedz — feedback pojawi sie od razu.
1. Ile razy szybszy jest DataSync od typowych narzędzi open-source?
2. Co jest potrzebne do transferu z on-premises do AWS przez DataSync?
3. Które serwisy AWS mogą być celem transferu DataSync?
4. Do czego służy bandwidth throttling w DataSync?
Czesto uzywane razem z AWS DataSync
Chcesz poznac AWS DataSync w praktyce?
Darmowy kurs "AWS od podstaw" pokazuje jak uzywac AWS DataSync krok po kroku. Teoria + praktyka od zera.