Samouczek testowania ETL

Co to jest ETL?

ETL oznacza Extract-Transform-Loadi opisuje sposób, w jaki dane są przenoszone z systemu źródłowego do magazynu danych. Dane są np.tracDane te są pobierane z bazy danych OLTP, transformowane w celu dopasowania do schematu magazynu danych i ładowane do bazy danych magazynu. Wiele magazynów danych zawiera również dane z systemów innych niż OLTP, takich jak pliki tekstowe, starsze aplikacje i arkusze kalkulacyjne.

Na przykład sklep detaliczny może mieć oddzielne działy, takie jak sprzedaż, marketing i logistyka. Każdy dział przetwarza informacje o klientach niezależnie, a sposób ich przechowywania różni się. Dział sprzedaży może przechowywać dane według imienia i nazwiska klienta, podczas gdy dział marketingu używa identyfikatora klienta.

Jeśli zespoły biznesowe chcą przejrzeć pełną historię zakupów klienta w ramach różnych kampanii marketingowych, rozproszone dane sprawiają, że jest to bardzo żmudne. Rozwiązaniem jest użycie DataWarehouse Przechowywanie informacji z różnych źródeł w jednolitej strukturze za pomocą ETL. ETL umożliwia przekształcanie różnych zestawów danych w ujednoliconą strukturę, dzięki czemu narzędzia BI mogą później uzyskiwać wartościowe wnioski i raporty.

Poniższy diagram przedstawia przepływ procesu testowania ETL i główne koncepcje, z którymi będziesz się zapoznawać w tym przewodniku:

1) Byłytract

• Extracodpowiednich danych z jednego lub większej liczby systemów źródłowych.

2) Przekształć

• Przekształć dane do formatu DW (Data Warehouse).
• Klucze kompilacji: klucz to jeden lub więcej atrybutów danych, które jednoznacznie identyfikują jednostkę. Różne rodzaje kluczy Klucze te to klucz podstawowy, klucz alternatywny, klucz obcy, klucz złożony i klucz zastępczy. Magazyn danych jest właścicielem tych kluczy i nigdy nie zezwala innym podmiotom na ich przypisywanie.
• Czyszczenie danych: po usunięciu danychtracPo zakończeniu procesu system przechodzi do kolejnej fazy czyszczenia i dostosowywania. Czyszczenie naprawia pominięcia i identyfikuje błędy. Dostosowywanie rozwiązuje konflikty między niekompatybilnymi zestawami danych, umożliwiając ich wykorzystanie w korporacyjnym magazynie danych. System tworzy również metadane, które pomagają diagnozować problemy z systemem źródłowym i poprawiać jakość danych.

3) Załaduj

• Załaduj dane do DW (magazynu danych).
• Tworzenie agregatów: agregat podsumowuje i przechowuje dane z tabela faktów w celu poprawy wydajności zapytań użytkowników końcowych.

Co to jest testowanie ETL?

Testowanie ETL przeprowadza się w celu zapewnienia poprawności danych ładowanych ze źródła do miejsca docelowego po transformacji biznesowej. Obejmuje ono również weryfikację danych na różnych etapach pośrednich między źródłem a miejscem docelowym. Ponieważ ETL to skrót od Ex (Ex).tracTestowanie t-Transform-Load, ETL obejmuje każdy z tych trzech etapów oraz punkty, w których dane krzyżują się między nimi.

Dlaczego testowanie ETL jest ważne?

Gdy zrozumiesz, czym jest testowanie ETL, pojawia się pytanie, dlaczego organizacje wkładają w nie tyle wysiłku. Decyzje biznesowe opierają się na poprawnych, kompletnych i wiarygodnych danych, więc pojedynczy błąd w transformacji może mieć wpływ na raporty finansowe, analizy klientów i ujawnienia regulacyjne.

Poniższe punkty wyjaśniają praktyczną wartość solidnego testowania ETL:

• Dokładność danych: Potwierdza, że ​​wartości przekształcone przez reguły biznesowe odpowiadają udokumentowanej mapieping specyfikacji, zapobiegając ukrytym korupcjom.
• Wiarygodne raportowanie: Panele sterowania i narzędzia BI zależą od magazynu danych, dlatego zweryfikowane procesy ETL chronią wszystkie raporty i kluczowe wskaźniki efektywności (KPI).
• Zgodność z przepisami: Branże takie jak bankowość, opieka zdrowotna i ubezpieczenia muszą udowodnić, że pochodzenie i integralność danych są zachowane od początku do końca.
• Zredukowane przeróbki: Wykrywanie usterek w środowiskach o niższym obciążeniu pozwala uniknąć kosztownych ponownych uruchomień produkcji, ręcznych uzgadniań i błędów widocznych u klientów.
• Zapewnienie wydajności: Testowanie ETL mierzy okna obciążenia, przepustowość i wąskie gardła, aby magazyn mógł się nadal skalować w miarę wzrostu objętości danych.

Mając jasne motywacje, w następnej sekcji omówiony zostanie ustrukturyzowany proces, który testerzy ETL stosują w rzeczywistych projektach.

Proces testowania ETL

Podobnie jak inne procesy testowania, ETL również przechodzi przez różne fazy. Poszczególne fazy procesu testowania ETL są następujące:

Testowanie ETL odbywa się w pięciu etapach:

1. Identyfikacja źródeł danych i wymagań
2. Akwizycji danych
3. Wdrażanie logiki biznesowej i modelowania wymiarowego
4. Kompiluj i wypełniaj dane
5. Twórz raporty

Mając na uwadze proces wysokiego poziomu, przyjrzyjmy się konkretnym typom testów wpisującym się w ten cykl życia.

Rodzaje testów ETL

1. Testowanie walidacyjne produkcji
   Proces testowania: Ten rodzaj testów ETL, nazywany również „równoważeniem tabel” lub „uzgadnianiem produkcji”, jest przeprowadzany na danych przesyłanych do systemów produkcyjnych. Aby wspierać decyzje biznesowe, dane produkcyjne muszą być w odpowiedniej kolejności. Informatyka Opcja Data Validation zapewnia automatyzację testowania ETL i możliwości zarządzania, dzięki czemu systemy produkcyjne nie są narażone na ataki ze strony nieprawidłowych danych.
2. Źródło do Target Testowanie (testowanie walidacyjne)
   Proces testowania: Ten typ testów ma na celu sprawdzenie, czy przekształcone wartości danych odpowiadają oczekiwanym wartościom docelowym.
3. Zastosowanie Upgrades
   Proces testowania: Ten typ testów ETL może być generowany automatycznie, co znacznie oszczędza czas potrzebny na opracowanie testów. Sprawdza on, czy dane, np.tracdane pochodzące ze starszej aplikacji lub repozytorium pasują do danych w nowej aplikacji lub repozytorium.
4. Testowanie metadanych
   Proces testowania: Testowanie metadanych obejmuje sprawdzanie typu danych, sprawdzanie długości danych oraz sprawdzanie indeksów lub ograniczeń.
5. Testowanie kompletności danych
   Proces testowania: Testowanie kompletności danych weryfikuje, czy wszystkie oczekiwane dane są ładowane ze źródła do celu. Typowe testy obejmują porównywanie i weryfikację liczby rekordów, agregatów i rzeczywistych danych między kolumnami źródłowymi i docelowymi, gdy transformacja jest prosta lub nie występuje.
6. Testowanie dokładności danych
   Proces testowania: Testowanie to ma na celu zapewnienie, że dane są ładowane i przekształcane dokładnie tak, jak oczekiwano.
7. Testowanie transformacji danych
   Proces testowania: Testowanie transformacji danych często nie jest możliwe przy użyciu jednego źródła SQL zapytanie i porównanie wyników. Dla każdego wiersza może być potrzebnych wiele zapytań SQL w celu weryfikacji reguł transformacji.
8. Testowanie jakości danych
   Proces testowania:

   Testy jakości danych obejmują testy składniowe i testy referencyjne. Zapobiegają one błędom w procesach biznesowych spowodowanym nieprawidłowymi datami lub numerami zamówień.

   Testy składniowe raportują niepoprawne dane na podstawie nieprawidłowych znaków, wzorców znaków i nieprawidłowej kolejności wielkich lub małych liter.

   Testy referencyjne weryfikują dane względem modelu danych. Na przykład: identyfikator klienta.

   Testowanie jakości danych obejmuje również sprawdzanie liczb, sprawdzanie dat, sprawdzanie precyzji, sprawdzanie danych i sprawdzanie wartości null.

9. Przyrostowe testowanie ETL
   Proces testowania: Testy te sprawdzają integralność danych starych i nowych z dodawaniem nowych danych. Testy przyrostowe weryfikują, czy wstawianie i aktualizowanie danych przebiega zgodnie z oczekiwaniami podczas przyrostowego procesu ETL.
10. Testowanie GUI/nawigacji
    Proces testowania: Testy te sprawdzają nawigację i aspekty graficznego interfejsu użytkownika raportów front-end.

Jak utworzyć przypadek testowy ETL

Testowanie ETL to koncepcja, którą można zastosować do różnych narzędzi i baz danych w branży zarządzania informacją. Celem testowania ETL jest sprawdzenie, czy dane załadowane ze źródła do miejsca docelowego po transformacji biznesowej są dokładne. Polega ona również na weryfikacji danych na różnych etapach pośrednich między źródłem i miejscem docelowym.

Podczas przeprowadzania testów ETL tester ETL zawsze korzysta z dwóch dokumentów:

1. Mapa ETLping arkusze: Mapa ETLping Arkusz zawiera wszystkie informacje o tabelach źródłowych i docelowych, w tym każdą kolumnę i jej odnośniki w tabelach referencyjnych. Testerzy ETL muszą swobodnie posługiwać się zapytaniami SQL, ponieważ testowanie ETL może wymagać pisania dużych zapytań z wieloma łączeniami w celu walidacji danych na dowolnym etapie. Mapa ETLping Arkusze stanowią znaczącą pomoc przy pisaniu zapytań w celu weryfikacji danych.
2. Schemat bazy danych źródłowej i docelowej: Należy ją mieć pod ręką, aby móc zweryfikować każdy szczegół na mapieping pościel.

Scenariusze i przypadki testowe ETL

1. Mapaping walidacja dokumentów
   Przypadki testowe: Sprawdź, czy na mapie znajdują się odpowiednie informacje ETLping doc. Rejestr zmian powinien być prowadzony w każdej mapieping dok
2. Walidacja
   Przypadki testowe:

   1) Sprawdź strukturę tabeli źródłowej i docelowej względem odpowiedniej mapyping dok
   2) Typ danych źródłowych i docelowych powinny być takie same.
   3) Długość typów danych w źródle i celu powinna być taka sama.
   4) Sprawdź, czy określono typy i formaty pól danych.
   5) Długość typu danych źródłowych nie powinna być mniejsza od długości typu danych docelowych.
   6) Sprawdź poprawność nazw kolumn w tabeli na mapieping dok

3. Walidacja ograniczeń
   Przypadki testowe: Upewnij się, że ograniczenia są zdefiniowane dla konkretnej tabeli zgodnie z oczekiwaniami.
4. Problemy ze spójnością danych
   Przypadki testowe:

   1) Typ danych i długość konkretnego atrybutu mogą się różnić w zależności od pliku lub tabeli, nawet jeśli definicja semantyczna jest taka sama.
   2) Nadużywanie ograniczeń integralności.

5. Problemy z kompletnością
   Przypadki testowe:

   1) Upewnij się, że wszystkie oczekiwane dane zostały załadowane do tabeli docelowej.
   2) Porównaj liczbę rekordów między źródłem i celem.
   3) Sprawdź, czy istnieją jakieś odrzucone rekordy.
   4) Sprawdź, czy dane w kolumnach tabel docelowych nie są obcięte.
   5) Sprawdź analizę wartości brzegowych.
   6) Porównaj unikalne wartości pól kluczowych między danymi załadowanymi do magazynu i danymi źródłowymi.

6. Problemy z poprawnością
   Przypadki testowe:

   1) Dane błędnie zapisane lub nieprawidłowo zapisane.
   2) Dane zerowe, nieunikalne lub poza zakresem.

7. Transformacja
   Przypadki testowe: Sprawdź, czy każda reguła biznesowa i logika transformacji na mapie są spełnioneping dokument został prawidłowo zastosowany do danych źródłowych przed ich umieszczeniem w danych docelowych.
8. Jakość danych
   Przypadki testowe:

   1) Kontrola liczb: weryfikacja formatów i wartości liczbowych.
   2) Sprawdzenie daty: daty muszą być zgodne z tym samym formatem i spójne we wszystkich rekordach.
   3) Kontrola precyzji.
   4) Sprawdzenie danych.
   5) Sprawdzenie wartości zerowej.

9. Zerowa weryfikacja
   Przypadki testowe: Sprawdź wartości null w miejscach, gdzie dla konkretnej kolumny określono „Not Null”.
10. Duplikat czeku
    Przypadki testowe:

    1) Sprawdź poprawność klucza unikalnego, klucza podstawowego i każdej innej kolumny, która powinna być unikatowa zgodnie z wymogami biznesowymi, aby mieć pewność, że nie występują zduplikowane wiersze.
    2) Sprawdź, czy w którejś kolumnie występują zduplikowane wartości, np.tracpochodzące z wielu kolumn źródłowych i połączone w jedną kolumnę.
    3) Zgodnie z wymaganiami klienta upewnij się, że nie występują duplikaty w kombinacji wielu kolumn w obrębie elementu docelowego.

11. Walidacja daty
    Przypadki testowe: Wartości dat są wykorzystywane w wielu obszarach rozwoju ETL:

    1) Aby poznać datę utworzenia wiersza.
    2) Zidentyfikuj aktywne rekordy z perspektywy rozwoju ETL.
    3) Zidentyfikuj aktywne rekordy z perspektywy wymagań biznesowych.
    4) Czasami na podstawie wartości dat generowane są aktualizacje i wstawki.

12. Pełna weryfikacja danych
    Przypadki testowe:

    1) Sprawdź poprawność całego zestawu danych w tabeli źródłowej i docelowej, używając zapytania ujemnego jako najlepszego rozwiązania.
    2) Należy wykonać równanie źródło minus cel i cel minus źródło.
    3) Jeśli zapytanie minus zwróci jakąkolwiek wartość, wiersze te należy uznać za niezgodne.
    4) Dopasuj wiersze między źródłem i celem za pomocą polecenia intersect.
    5) Liczba zwrócona przez funkcję intersect powinna odpowiadać liczbie poszczególnych tabel źródłowych i docelowych.
    6) Jeśli zapytanie minus zwraca wiersze, a liczba przecięć jest mniejsza od liczby wierszy źródłowych lub docelowych, oznacza to, że występują zduplikowane wiersze.

13. Czystość danych
    Przypadki testowe: Niepotrzebne kolumny należy usunąć przed załadowaniem do obszaru tymczasowego.

Rodzaje błędów ETL

Nawet w przypadku mocnych przypadków testowych, potoki ETL mogą zawodzić na różne sposoby. Poniższy rysunek podsumowuje kategorie błędów, na które należy zwrócić uwagę, a tabela poniżej opisuje każdą z nich.

Rodzaj błędów	OPIS
Błędy interfejsu użytkownika/błędy kosmetyczne	• Związane z GUI aplikacji • Styl czcionki, rozmiar czcionki, kolory, wyrównanie, błędy ortograficzne, nawigacja itp.
Błąd związany z analizą wartości brzegowych (BVA).	• Wartości minimalne i maksymalne
Błąd związany z partycjonowaniem klas równoważności (ECP).	• Typ prawidłowy i nieprawidłowy
Błędy wejścia/wyjścia	• Wartości prawidłowe nie są akceptowane • Akceptowane są nieprawidłowe wartości
Błędy obliczeniowe	• Błędy matematyczne • Wynik końcowy jest błędny
Załaduj błędy warunku	• Nie pozwala na korzystanie z wielu użytkowników • Nie dopuszcza obciążenia oczekiwanego przez klienta
Błędy warunków wyścigu	• Awaria systemu i zawieszenie się • System nie może obsługiwać platform klienckich
Błędy kontroli wersji	• Brak dopasowania logo • Brak informacji o wersji • Występuje zwykle w Testy regresji
Błędy sprzętowe	• Urządzenie nie reaguje na aplikację
Błędy źródła pomocy	• Błędy w dokumentach pomocy

Testowanie hurtowni danych

Testowanie hurtowni danych To metoda testowania, w której dane w hurtowni danych są sprawdzane pod kątem integralności, niezawodności, dokładności i spójności, aby były zgodne z firmową strukturą danych. Głównym celem testowania hurtowni danych jest zapewnienie, że zintegrowane dane w hurtowni są wystarczająco wiarygodne, aby firma mogła na ich podstawie podejmować decyzje. Podczas gdy testowanie ETL koncentruje się na przenoszeniu danych, testowanie hurtowni danych obejmuje szerszą warstwę pamięci masowej i raportowania, do której ostatecznie dostarcza dane ETL.

Różnica między testowaniem baz danych a testowaniem ETL

Chociaż obie dyscypliny zajmują się danymi strukturalnymi, odpowiadają na różne pytania. Poniższa tabela podkreśla praktyczne różnice:

Testowanie ETL	Testowanie bazy danych
Sprawdza, czy dane zostały przeniesione zgodnie z oczekiwaniami.	Podstawowym celem jest sprawdzenie, czy dane są zgodne z zasadami i standardami zdefiniowanymi w modelu danych.
Sprawdza, czy liczby w źródle i celu są zgodne i czy przekształcone dane są zgodne z oczekiwaniami.	Sprawdza, czy nie ma żadnych porzuconych rekordów i czy relacje klucza podstawowego i obcego są zachowane.
Sprawdza, czy relacje obcych kluczy podstawowych są zachowywane podczas ETL.	Sprawdza, czy nie występują żadne powtarzające się tabele i czy baza danych jest optymalnie znormalizowana.
Sprawdza, czy w załadowanych danych nie ma duplikatów.	Sprawdza, czy w kolumnach, w których są wymagane, brakuje danych.

Testowanie wydajnościowe w ETL

Testowanie wydajnościowe w ETL to technika testowania, która zapewnia, że ​​system ETL jest w stanie obsłużyć obciążenie wielu użytkowników i transakcji. Głównym celem ETL jest Test wydajności Celem jest optymalizacja i poprawa wydajności sesji poprzez identyfikację i eliminację wąskich gardeł wydajnościowych. Bazy danych źródłowa i docelowa, mapapingWąskie gardła mogą występować zarówno w sesjach, jak i w samym systemie.

Jednym z najlepszych narzędzi do testowania wydajności i dostrajania jest Informatica.

Obowiązki testera ETL

Główne obowiązki testera ETL można podzielić na trzy kategorie:

• Stół sceniczny / SFS lub MFS
• Zastosowano logikę transformacji biznesowej
• Target ładowanie tabeli z pliku etapu lub tabeli po zastosowaniu transformacji

Do codziennych obowiązków testera ETL należą:

• Przetestuj oprogramowanie ETL
• Komponenty testowe magazynu danych ETL
• Wykonywanie testów opartych na danych w zapleczu
• Twórz, projektuj i wykonuj przypadki testowe, plany testów i zestawy testowe
• Identyfikuj problemy i proponuj rozwiązania potencjalnych problemów
• Zatwierdź wymagania i specyfikacje projektowe
• Sprawdzanie poprawności transferów danych i testowanie plików płaskich
• Napisz zapytania SQL dla różnych scenariuszy, takich jak testy zliczania

Automatyzacja testów ETL

Ogólna metodologia testowania ETL polega na użyciu skryptów SQL lub wizualnej „analizy wzrokowej” danych. Podejścia te są czasochłonne, podatne na błędy i rzadko zapewniają pełne rezultaty. pokrycie testuAby przyspieszyć realizację, poprawić zasięg, obniżyć koszty i udoskonalić ulegnie awarii? W środowiskach produkcyjnych i programistycznych automatyzacja jest koniecznością chwili. Jednym z takich narzędzi jest Informatica.

Nowoczesne zespoły łączą również tradycyjną automatyzację z narzędziami wspomaganymi przez sztuczną inteligencję, które sugerują testy transformacji, generują syntetyczne dane źródłowe i sygnalizują odchylenia schematu. Dzięki temu testerzy mogą skupić się na złożonej logice biznesowej, a nie na powtarzalnej obsłudze skryptów.

Najlepsze praktyki dotyczące testowania ETL

1. Upewnij się, że dane zostały poprawnie przekształcone.
2. Dane prognozowane powinny zostać załadowane do magazynu danych bez utraty lub obcięcia danych.
3. Upewnij się, że aplikacja ETL odpowiednio odrzuca nieprawidłowe dane, zastępuje je wartościami domyślnymi, jeśli ma to zastosowanie, i raportuje o tym.
4. Potwierdź, że dane zostały załadowane do magazynu w ustalonych i oczekiwanych ramach czasowych, aby zweryfikować skalowalność i wydajność.
5. Wszystkie metody powinny mieć odpowiednie testy jednostkowe, niezależnie od widoczności.
6. Aby zmierzyć ich skuteczność, wszystkie testy jednostkowe powinny wykorzystywać odpowiednie techniki pokrycia.
7. Staraj się stosować jedno stwierdzenie na przypadek testowy.
8. Stwórz testy jednostkowe które dotyczą wyjątków.

Sprawdzić - Pytania i odpowiedzi dotyczące rozmowy kwalifikacyjnej związanej z testowaniem ETL

FAQ