AWS Data Engineer Associate
Pipeline danych od zbierania po nadzór
Certyfikat dla osób budujących potoki danych w AWS. Sprawdza zbieranie i transformację danych, dobór magazynu, utrzymanie pipeline'ów oraz bezpieczeństwo i nadzór nad danymi. Zastąpił wycofany egzamin Data Analytics - Specialty.
Czym jest AWS Data Engineer Associate?
AWS Certified Data Engineer - Associate (kod egzaminu DEA-C01) sprawdza umiejętność budowania i utrzymywania potoków danych w AWS. Nie chodzi tu o analizę danych ani o wyciąganie wniosków biznesowych, tylko o inżynierię: zebranie danych ze źródeł, przetworzenie ich, wybór właściwego magazynu i zapewnienie, że całość działa, kosztuje rozsądnie i spełnia wymogi bezpieczeństwa.
Egzamin zastąpił wycofany Data Analytics - Specialty i przejął jego rolę w ścieżce certyfikacyjnej, ale na poziomie Associate i w niższej cenie. AWS zakłada 2-3 lata doświadczenia w inżynierii danych oraz 1-2 lata praktyki z usługami AWS.
W wymaganiach wprost pojawia się umiejętność pisania zapytań SQL i posługiwania się Gitem. Nie musisz natomiast znać składni konkretnego języka programowania - egzamin sprawdza koncepcje, nie kod.
Dla kogo jest ten certyfikat?
Inżynierowie danych
Budujesz potoki ETL i chcesz potwierdzić, że umiesz je zaprojektować oraz utrzymać w AWS, a nie tylko lokalnie.
Analitycy przechodzący w stronę inżynierii
Znasz SQL i pracę z danymi, ale chcesz odpowiadać także za infrastrukturę pod nimi, nie wyłącznie za raporty.
Backend developerzy przy danych
Twoje aplikacje produkują dane, które ktoś potem przetwarza. Ten materiał porządkuje drugą stronę tego procesu.
Osoby po Solutions Architect Associate
Masz podstawy architektury i szukasz specjalizacji. Data engineering jest jednym z obszarów, gdzie popyt utrzymuje się niezależnie od koniunktury.
Dlaczego warto go zdać?
Dane są tym obszarem, w którym firmy najczęściej mają zaległości: zbierają dużo, przetwarzają chaotycznie i płacą za to więcej, niż muszą.
- Zastąpił Data Analytics Specialty - ta sama rola zawodowa, ale poziom Associate zamiast Specialty i 150 USD zamiast 300.
- Zakres pokrywa realny warsztat - Glue, Kinesis, Redshift, Athena, Lake Formation i S3 to usługi, po które w projektach danych sięga się codziennie.
- Naturalne przejście do AI - dobrze poukładane dane są warunkiem sensownych projektów ML, więc ten certyfikat dobrze łączy się z ścieżką AI.
- Umiejętności trudne do zautomatyzowania - projektowanie modelu danych i dobór magazynu to decyzje, których nie wyklika za Ciebie żadne narzędzie.
Zakres egzaminu - domeny i wagi
Egzamin jest podzielony na 4 domeny tematyczne. Procent obok każdej domeny pokazuje, jaką część pytań egzaminacyjnych z niej otrzymasz.
Data Ingestion and Transformation
34%- Zbieranie danych wsadowo i strumieniowo, Amazon Kinesis oraz Amazon MSK
- Transformacje w <a href="/serwisy-aws/glue">AWS Glue</a> i Amazon EMR
- Orkiestracja potoków: <a href="/serwisy-aws/step-functions">Step Functions</a>, EventBridge, Managed Workflows for Apache Airflow
- Programowanie potoków: idempotencja, obsługa błędów, ponawianie
- Optymalizacja formatów i partycjonowania danych
Data Store Management
26%- Dobór magazynu: <a href="/serwisy-aws/s3">S3</a>, <a href="/serwisy-aws/redshift">Redshift</a>, <a href="/serwisy-aws/dynamodb">DynamoDB</a>, <a href="/serwisy-aws/rds">RDS</a>
- Projektowanie modeli danych i schematów
- Katalogowanie danych w AWS Glue Data Catalog
- Cykl życia danych i klasy przechowywania
- Jezioro danych i Lake Formation
Data Operations and Support
22%- Automatyzacja i monitorowanie potoków w <a href="/serwisy-aws/cloudwatch">CloudWatch</a>
- Analiza danych z użyciem <a href="/serwisy-aws/athena">Athena</a> i Redshift Spectrum
- Zapewnianie jakości i spójności danych
- Diagnozowanie problemów z wydajnością i kosztem potoku
Data Security and Governance
18%- Uwierzytelnianie i autoryzacja przez <a href="/serwisy-aws/iam">IAM</a> oraz Lake Formation
- Szyfrowanie danych w spoczynku i w tranzycie
- Prywatność, maskowanie danych i zgodność z regulacjami
- Logowanie dostępu i audyt przez <a href="/serwisy-aws/cloudtrail">CloudTrail</a>
Plan nauki krok po kroku
Przykładowy harmonogram 6-8 tygodni przy 5-10 godzinach nauki tygodniowo. Jeśli masz doświadczenie IT, możesz spokojnie skrócić go o 2-3 tygodnie.
Zbieranie i transformacja danych
Największa domena egzaminu, ponad jedna trzecia punktów. Tu warto spędzić najwięcej czasu.
- Zbuduj potok wsadowy w AWS Glue: źródło, transformacja, zapis do S3
- Uruchom strumień w Kinesis i przetwórz go w czasie zbliżonym do rzeczywistego
- Porównaj formaty plików (Parquet, ORC, JSON) pod kątem kosztu zapytań
- Zorkiestruj kilka kroków w Step Functions z obsługą błędów
Magazyny danych i modelowanie
Druga domena to 26% punktów. Egzamin lubi pytać, który magazyn pasuje do opisanego scenariusza.
Utrzymanie, bezpieczeństwo i testy
Ostatnie dwie domeny dają 40% punktów, a bezpieczeństwo danych bywa niedoceniane przy przygotowaniach.
- Skonfiguruj alarmy w CloudWatch na nieudane uruchomienia zadań
- Wprowadź kontrolę dostępu do danych przez Lake Formation
- Przećwicz szyfrowanie i maskowanie danych wrażliwych
- Rozwiąż testy próbne w limicie 130 minut, aż wynik ustabilizuje się powyżej 80%
Jak wygląda egzamin w praktyce?
Egzamin zdajesz przez Pearson VUE, online albo w centrum testowym:
- 65 pytań, z czego 50 liczy się do wyniku, a 15 to pytania testowane przez AWS
- 130 minut czasu
- Próg zdawalności: 720/1000 punktów
- Koszt: $150 USD
- Ważność: 3 lata
Pytania są jednokrotnego lub wielokrotnego wyboru, w formie scenariuszy opisujących konkretny problem z danymi. Typowe sformułowanie to opis wolumenu, częstotliwości i wymagań, a następnie pytanie o najtańsze albo najprostsze operacyjnie rozwiązanie.
Punktacja jest kompensacyjna, więc liczy się wynik łączny, a nie zaliczenie każdej domeny osobno. Za brak odpowiedzi dostajesz zero, a za błędną nie ma punktów ujemnych.
Wskazówki egzaminacyjne
Najczęstszy wzorzec pytania to opis danych i pytanie, gdzie je trzymać. Zbuduj sobie tabelę: rodzaj danych, wzorzec dostępu, wolumen, wymagana latencja, a do tego właściwa usługa.
W scenariuszach stale pojawia się ograniczenie budżetowe. Partycjonowanie, format kolumnowy i klasy storage to trzy dźwignie, które AWS uznaje za pierwsze odpowiedzi na pytanie o oszczędności.
AWS wprost wymienia strukturę i uruchamianie zapytań SQL wśród wymaganej wiedzy. To jedyny certyfikat Associate, gdzie znajomość SQL jest założeniem, a nie miłym dodatkiem.
Kinesis, MSK, Glue i EMR rozwiązują różne problemy. Pytanie zwykle zdradza właściwą odpowiedź słowem o opóźnieniu: "w czasie rzeczywistym", "co godzinę", "raz na dobę".
Dostępne języki to angielski, japoński, koreański i chiński uproszczony. Wniosek o ESL +30 minut złóż przed rezerwacją terminu.
Najczęściej zadawane pytania
Czy Data Engineer Associate zastąpił Data Analytics Specialty?
Tak, przejął jego rolę w ścieżce certyfikacyjnej AWS. Data Analytics - Specialty został wycofany, a zakres związany z inżynierią danych przeniesiono do egzaminu na poziomie Associate. Dla kandydata to korzystna zmiana: niższy koszt (150 zamiast 300 USD) i krótszy egzamin przy podobnym obszarze wiedzy.
Czy muszę umieć programować?
Nie w sensie znajomości składni konkretnego języka - AWS wprost wymienia to jako zadanie poza zakresem. Musisz natomiast rozumieć koncepcje programistyczne potrzebne przy potokach danych (idempotencja, obsługa błędów, ponawianie), umieć pisać zapytania SQL i posługiwać się Gitem.
Ile trwa przygotowanie do DEA-C01?
Przy spełnionych założeniach doświadczenia zwykle 6-8 tygodni po kilka godzin tygodniowo. Osoby bez wcześniejszej praktyki z danymi powinny liczyć się z dłuższym okresem, bo egzamin zakłada 2-3 lata pracy w inżynierii danych i 1-2 lata z AWS.
Który certyfikat wybrać: Data Engineer czy Machine Learning Engineer?
Zależy od tego, gdzie kończy się Twoja odpowiedzialność. Data Engineer dotyczy przygotowania i utrzymania danych, a <a href="/certyfikaty/machine-learning-engineer">Machine Learning Engineer</a> ich wykorzystania do budowy i wdrażania modeli. W praktyce te role często sąsiadują, a domena przygotowania danych pojawia się w obu egzaminach.
Gotowy zacząć naukę?
Zacznij od darmowego kursu AWS od podstaw na CloudManiak, a potem sprawdź swoją wiedzę na testach praktycznych z wyjaśnieniami każdej odpowiedzi w Akademii CloudManiak.