Wartość dobrych danych testowych dla administratorów baz danych jest dobrze znana:
„Testowanie aplikacji intensywnie korzystających z baz danych wiąże się z wyjątkowymi wyzwaniami, które wynikają z ukrytych zależności, subtelnych różnic w semantyce danych, docelowych schematów baz danych i niejawnych reguł biznesowych. Wyzwania te stają się jeszcze trudniejsze, gdy aplikacja obejmuje zintegrowane i heterogeniczne bazy danych lub poufne dane. Właściwe dane testowe, które symulują rzeczywiste problemy z danymi, mają kluczowe znaczenie dla osiągnięcia rozsądnych wskaźników jakości dla funkcjonalnej walidacji danych wejściowych, obciążenia, wydajności i testów warunków skrajnych. ” – Ali Raza i Stephen Clyde, abstrakt z tworzenia zestawów danych do testowania relacyjnych baz danych
Testowanie operacji bazy danych, prototypowanie hurtowni danych i zadań ETL/ELT, bezpieczne outsourcingowanie próbek plików i raportów oraz przeprowadzanie testów wydajności na urządzeniach DB — wszystko to wymaga danych testowych o wyglądzie i działaniu produkcyjnej bazy danych, dzięki czemu aplikacje korzystające z tych danych testowych będą teraz działać pomyślnie z rzeczywistymi danymi później. W swojej książce z 2012 r. Raza i Clyde porównują generowanie danych testowych z ekstrakcją danych testowych.
IRI i jego użytkownicy wiedzą, że używanie prawdziwych danych do testowania jest niepożądane. Obecnie najbardziej oczywistym powodem jest to, że rzeczywiste dane mogą ujawnić informacje umożliwiające identyfikację osób (PII), które muszą być traktowane jako poufne. Programista lub tester nie chce uruchamiać procesów ani testować systemu bazy danych i ryzykować udostępniania informacji o klientach, takich jak numery ubezpieczenia społecznego, dane karty kredytowej, daty urodzenia itp. W tej fazie. Dostępne obecnie rzeczywiste dane mogą również nie być wystarczająco solidne lub realistyczne, aby przetestować aplikacje lub bazy danych, które będą musiały obsługiwać większe ilości i/lub zakresy wartości.
Niestety, Raza i Clyde napisali swoją książkę przed wydaniem RowGen v3, kiedy mogli zaobserwować, że generuje dane testowe, które:
1) nie ujawnia informacji umożliwiających identyfikację użytkownika, ponieważ zawiera nowe lub losowe wartości rzeczywiste kolumn
2) zachowuje integralność strukturalną i referencyjną zdefiniowaną w oryginalnym DDL
3) nie ogranicza się do objętości danych oryginalnej bazy danych lub zakresy wartości
4) można dostosować poprzez generowanie skryptów w celu spełnienia złożonych wymagań
5) jest wstępnie sortowane i automatycznie ładowane zbiorczo w celu uzyskania najszybszej możliwej populacji
6) są zdefiniowane w partii skrypty o zróżnicowanej elastyczności, które można eksportować, ponownie wykorzystywać i modyfikować w razie potrzeby
IRI RowGen v3 to najnowsza wersja najszybszego i najbardziej niezawodnego generatora danych testowych o dużej objętości dla relacyjnych baz danych. RowGen będzie działał z GUI IRI Workbench zbudowanego na Eclipse, z wiersza poleceń lub z programów wsadowych, aby wyprodukować jakość i ilość danych testowych niezbędnych do dokładnego odzwierciedlenia zakresu, układu i relacji w produkcyjnych bazach danych, a z kolei, hurtownie danych i operacyjne magazyny danych.
Nowy kreator danych testowych DB RowGen v3, po uruchomieniu z GUI IRI Workbench, prowadzi użytkowników przez specyfikację i automatyzację:
Przetwarzanie – wybierając schemat i tabele do wypełnienia, RowGen tłumaczy opisy tabel bazy danych i ograniczenia integralności na skrypty .rcl, które określają strukturę źródłową, zestawy zależne i tworzenie danych, w kolejności niezbędnej do wypełnienia tabel we właściwym formacie, oraz z poszanowaniem wszystkich kluczy podstawowych, unikalnych indeksów i relacji kluczy obcych.
Generacja – budując i uruchamiając skrypty .rcl w celu utworzenia jednego pliku testowego na tabelę, który można ładować zbiorczo i/lub zapisywać do wykorzystania w przyszłości.
Populacja – poprzez zbiorcze ładowanie tabel docelowych we właściwej kolejności za pomocą wstępnie posortowanych danych testowych, które są strukturalnie i pod względem referencyjnym poprawne.
Proces ten może szybko ładować ogromne testowe bazy danych i być zgodny zarówno z zasadami biznesowymi, jak i przepisami dotyczącymi prywatności danych. Wygenerowane dane są realistyczne i wystarczająco solidne, aby przetestować działanie bazy danych i aplikacje zapytań.
RowGen v3 obsługuje również opcje oparte na regułach i skrypcie, aby kontrolować określone wartości pól i rozkłady zakresów wartości, które uwzględniają określone ograniczenia bazy danych i najlepiej reprezentują wygląd i częstotliwość występowania danych w produkcji. Użytkownicy mogą również tworzyć wykresy i wizualnie potwierdzać, że wartości testowe są zgodne z rozkładami liniowymi, znormalizowanymi, ważonymi lub standardowymi.
Aby uzyskać więcej informacji na temat RowGen v3, odwiedź www.iri.com/products/rowgen, www.iri.com/products/rowgen/gui lub przeczytaj inne artykuły w sekcji Dane testowe na blogu IRI.
