Database
 sql >> Baza danych >  >> RDS >> Database

Podzbiór bazy danych – jak to zrobić w IRI Voracity

Gdy baza danych przekroczy określony rozmiar, dostarczenie pełnowymiarowych kopii na potrzeby programowania, testowania i szkolenia staje się kosztowne i ryzykowne z punktu widzenia bezpieczeństwa. Większość zespołów potrzebuje mniejszych kopii większej bazy danych i często ma zamaskowane dane osobowe.

Podzestawy bazy danych to proces tworzenia mniejszej, poprawnej referencyjnie kopii większej bazy danych z rzeczywistych wyciągów z tabeli. Podzbiory mogą być używane z maskowaniem danych lub syntezą danych testowych lub zamiast nich w celu zmniejszenia kosztów i ryzyka związanego z pełnymi zestawami. Proces ręcznego tworzenia znaczących podzbiorów jest złożony i pracochłonny, biorąc pod uwagę, że należałoby wypełnić mniejsze bazy danych losowymi próbkami z każdej tabeli produkcyjnej i upewnić się, że każda struktura relacyjna między tabelami w podzbiorze była nadal poprawna.

Kompletny kreator zadań tworzenia podzbiorów bazy danych w IRI Workbench przyspiesza i ułatwia ten proces. Kreator jest dostępny dla licencjonowanych użytkowników platformy zarządzania danymi IRI Voracity, IRI RowGen do generowania danych testowych oraz IRI FieldShield do maskowania danych. W tym artykule przedstawiono kreatora i pokazano, w jaki sposób tworzy on podzbiory poprawne w sensie referencyjnym, z opcjami maskowania kolumn i szyfrowania z zachowaniem pól.

Kreator tworzenia podzbioru pozwala użytkownikowi wybrać źródło podzbioru, jego rozmiar i sortowanie, nazwy celów podzbioru oraz wszelkie szyfrowanie lub maskowanie podzbioru danych, które należy uzyskać. Następnie kreator tworzy serię skryptów zadań, które tworzą albo tabele podzbiorów, albo pliki tekstowe.

Opcje pracy

Ta strona definiuje typ wyjścia. Jeśli loader pozostanie pusty, zostanie utworzony płaski plik z ogranicznikiem tabulacji. W przypadku opcji bazy danych można wybrać ODBC lub określony program ładujący bazę danych.

Opcje podzbioru

Na tej stronie określasz szczegóły podzbioru. Wybierz profil połączenia i tabelę, która będzie „napędzać” utworzony podzbiór. Pomyśl o tabeli kierującej jako o głównej tabeli, z której ma pochodzić podzbiór. Na przykład, jeśli chcesz utworzyć podzbiór tabeli sprzedaży i wszystkie tabele z nią połączone, wybierz tutaj tabelę z informacjami o sprzedaży. Wybierz również rozmiar podzbioru. Na przykład, aby uzyskać podzbiór 100 największych sprzedanych ilości, należy posortować według pola sprzedanej ilości (jak w tym przykładzie) i wprowadzić 100 w liczbie wierszy. Filtr można również dodać do tabeli sterowników.

Sortowanie

Na tej stronie określasz porządek sortowania podzbioru. Jeśli jednak chcesz, aby wiersze były wybierane losowo, pozostaw listę pól kluczowych pustą.

Strona sortowania ma 3 ważne sekcje:

  1. Lista pól wejściowych
  2. Lista pól kluczowych
  3. Kluczowe opcje

Kroki:

  1. Jeśli potrzebujesz podzbioru posortowanych danych, wybierz kolumnę do sortowania i kliknij „Dodaj klucz”.
  2. Kilka opcji jest dostępnych w polu Kluczowe opcje:
    • Zaznacz pole wyboru Stabilny, aby zduplikować rekordy do załadowania w kolejności, w jakiej znajdują się w tabeli produkcyjnej.
    • Jeśli nie chcesz mieć duplikatów lub tylko duplikatów w swoim podzbiorze, zaznacz pole wyboru Duplikaty i odpowiedni przycisk radiowy.

Nazywanie celów

Ta strona jest wyświetlana, jeśli typem danych wyjściowych jest baza danych. Ma dwie funkcje. Pierwsza pozwala na przeglądanie relacji w tabeli sterowników. Drugim jest nazwanie celów wyjściowych dla podzbioru.

Strona Nazewnictwa Docelowego składa się z 5 ważnych sekcji:

  1. Profil i schemat docelowy
  2. Trybem wyjściowym jest zawsze tworzenie, ponieważ to zadanie obcina wszystkie istniejące tabele o tej samej nazwie
  3. Opcje SQL dla zadania
  4. Opcje nazewnictwa
  5. Lista referencji

Kroki:

  1. Wybierz profil połączenia.
  2. Wybierz schemat.
  3. Określ opcje SQL.
  4. Wybierz opcję nazewnictwa, aby nazwać podzbiór celów. Jeśli używany jest inny profil lub schemat, ten krok jest opcjonalny:
    • Prefiks wszystkie dodaje prefiks do każdej nazwy tabeli i ustawia ją jako cel tej tabeli.
    • Popraw wszystkie dodaje przyrostek do każdej nazwy tabeli i ustawia ją jako cel tej tabeli.
    • Nazwij się indywidualnie umożliwia nazwanie każdego podzbioru celu niezależnie od innych celów.
  5. Zapoznaj się z wspomnianym przezReferencje listy w celu sprawdzenia, czy relacje tabeli zostały znalezione poprawnie:
    • Importowane przez  lista, wymienione są wszystkie tabele, przez które wybrana przez Ciebie tabela jest importowana.
    • W sekcji Import lista, wszystkie tabele, z którymi wybrana przez Ciebie tabela ma związek, są wymienione.

Zasady

Na tej stronie reguły można dodawać do dowolnego z celów. W tym przykładzie dopasowanie reguł zostało dodane do wszystkich pól kończących się słowem „NAZWA”. Reguła zostanie zastosowana do pasującej tabeli docelowej. Ta reguła zamaskuje te dwa pola gwiazdkami. Należy uważać, aby nie zawierać reguł dotyczących pól kluczy obcych.

Podsumowanie

Ta strona podsumowuje pracę. Wyraźnie wyświetla kolumny pasujące do reguły oraz tabele docelowe pasujące do tabel źródłowych, jeśli nie istnieją. Pamiętaj, że DDL zostanie utworzony dla wszystkich nowych tabel.

Po ukończeniu wszystkich tych stron możesz wybrać opcję Zakończ. Kreator następnie utworzy skrypty zadań i wykonywalny plik wsadowy dla systemu Windows lub Unix, który można uruchomić z poziomu Workbencha lub wiersza poleceń, aby wyodrębnić podzbiory z tabeli sterowników i powiązanych z nią tabel.

Oto schemat przedstawiający te osiem zadań utworzonych dla pracy w Vracity:


Jeśli masz jakiekolwiek pytania, skontaktuj się z [email protected].


  1. Database
  2.   
  3. Mysql
  4.   
  5. Oracle
  6.   
  7. Sqlserver
  8.   
  9. PostgreSQL
  10.   
  11. Access
  12.   
  13. SQLite
  14.   
  15. MariaDB
  1. Dowiedz się, jak używać instrukcji CASE w SQL

  2. Obejście problemu:Kursory nie są obsługiwane w tabeli, która ma klastrowany indeks magazynu kolumn

  3. Obliczanie mediany za pomocą dynamicznego kursora

  4. Jak usuwać tabele i kolumny za pomocą SQL?

  5. Wizualizacja danych za pomocą Apache Zeppelin – samouczek