Replikacja danych oznacza kopiowanie danych z jednego miejsca do drugiego i zwykle odbywa się między użytkownikami różnych baz danych, którzy muszą udostępniać ten sam poziom informacji. Replikacja może również obejmować inne źródła danych i cele oraz stać się bardziej złożona pod względem transformacji i czasu.
Jest to pierwszy z dwóch artykułów dotyczących replikacji baz danych w interfejsie graficznym IRI Workbench. IRI Workbench to bezpłatne środowisko IDE zbudowane na platformie Eclipse™, które obsługuje wszystkie produkty IRI, w tym IRI NextForm (do migracji danych i baz danych) oraz IRI Voracity (platformę kompleksowego zarządzania danymi, która obejmuje NextForm i in.). IRI Workbench tworzy i uruchamia zadania replikacji danych za pomocą kreatorów, skryptów i diagramów przepływu pracy.
Oto kilka sposobów, w jakie zachodzi replikacja:
- Dane z jednej bazy danych są kopiowane do innej bazy danych na tym samym lub innym serwerze.
- Dane z dwóch lub więcej baz danych są łączone w jedną bazę danych.
- Użytkownicy otrzymują pełne początkowe kopie bazy danych, a następnie okresowe aktualizacje w miarę zmian danych.
- Dane są selektywnie wyodrębniane z bazy danych i replikowane w pliku zewnętrznym.
Replikacja danych pozwala na replikację tylko części bazy danych; tj. wybrane tabele, kolumny i/lub wiersze. Replikacja wszystkich tabel jest częścią dublowania bazy danych. Jednak zmiany schematów, ograniczeń, procedur i autoryzacji dostępu nie są tak łatwe do replikacji i mogą obejmować oddzielne procesy.
Podstawowy przykład w IRI Workbench
W tym pierwszym przykładzie replikacji danych użyjemy kreatora tworzenia zadań z menu NextForm na pasku narzędzi IRI Workbench. Skopiujemy dane z tabeli Oracle zarówno do tabeli MySQL, jak i zmodyfikowanego pliku płaskiego. W tym drugim artykule przedstawiono replikację tylko zaktualizowanych danych w tabeli, oceniając wartości kolumn sygnatury czasowej.
Menu NextForm zawiera trzy kreatory tworzenia pracy:
- Nowe zadanie reformatowania
- Nowe zadanie migracji z jednego źródła
- Nowe zadanie migracji wielu tabel
Do wykonania tej replikacji użyjemy kreatora nowego zadania reformatowania. W przypadku bardziej złożonego zadania skorzystalibyśmy z innego kreatora NextForm lub kreatora zadań ETL w menu Voracity (lub ręcznie zbudowalibyśmy nowy przepływ pracy).
Oto struktura tabel źródłowych i docelowych:
Krok 1:Określ nazwę i opcje stanowiska
Z menu NextForm na górnym pasku narzędzi wybierz kreatora Nowe zadanie reformatowania. W tym przykładzie wpisz nazwę pliku zadaniareplikacja danych . NextForm dodaje rozszerzenie .ncl. Możesz również dodać wszelkie istotne informacje o tej pracy, które pojawią się jako komentarze w skrypcie.
Z listy przycisków opcji pozostaw domyślny wybór Utwórz skrypt ponieważ jest to samodzielne zadanie, a nie część większego projektu przepływu lub wsadowego.
Krok 2:Zidentyfikuj źródło
Na następnym ekranie, Źródła danych, kliknij Dodaj źródło danych . Źródłem w tym przykładzie jest baza danych połączona z ODBC, więc wybierz ODBC, a następnie kliknij przycisk Przeglądaj aby wybrać nazwę źródła danych (DSN) i tabelę.
Krok 3:Określ metadane źródłowe
Aby oprogramowanie IRI mogło przenosić i manipulować danymi w swoim silniku (w tym przypadku replikować w NextForm), potrzebne są metadane dla źródła i celu zdefiniowane w skrypcie zadania, w formacie pliku definicji danych IRI (DDF).
W IRI Workbench można automatycznie budować pliki DDF dla dowolnego źródła (lub celu). Ta funkcja jest osadzona tutaj, gdzie możesz wybrać opcję Odkryj metadane lub Dodaj istniejące metadane . W takim przypadku dodamy istniejące metadane, które zostały utworzone w inny sposób. Ten wybór i jego wyniki są pokazane w następującym oknie dialogowym:
Kliknij Układ pola źródłowego aby zobaczyć układ danych.
Kliknij OK aby zamknąć układ pola źródłowego. Następnie kliknij Dalej na stronie Źródła danych, aby otworzyć stronę Cel danych.
Krok 4:Zdefiniuj cele
Wysyłamy zreplikowane dane Oracle do dwóch celów:tabeli MySQL, którą nazywamycustomers_out oraz plik o nazwie personout.csv .
Dodaj tabelę docelową
Kliknij Dodaj cel danych . Wybierz ODBC i kliknij Przeglądaj . Następnie wybierz nazwę źródła danych (DSN) Oracle i stół CUSTOMERS_REP . Kliknij OK aby zamknąć okno dialogowe.
Na stronie Data Target podświetl nazwę tabeli i kliknij Dodaj istniejące metadane . Wybierz cust.ddf (który został utworzony wcześniej) i kliknij OK .
Chcemy ograniczyć liczbę rekordów w tym pliku do 100. Kliknij Edytuj opcje celu aby otworzyć edytor, a w Outcollect pole, wpisz 100 i kliknij OK .
Dodaj plik docelowy
Ponownie kliknij Dodaj cel danych . Wybierz Plik i wpisz personout.csv i kliknij OK . Chcemy ograniczyć liczbę rekordów w pliku do nie więcej niż 50, a także musimy zmienić format na CSV. Aby zrobić jedno i drugie, kliknij Edytuj opcje celu aby otworzyć edytor. Zmień format pole do CSV , a w Outcollect pole, wpisz 50 i kliknij OK .
Dodaj funkcję ciągu do pliku docelowego
Dodamy również funkcję ciągu wyświetlającą tylko cztery ostatnie cyfry pola SSN. Aby to zrobić, kliknij Układ pola docelowego i kliknij kartę personout.csv.
Wybierz pole SSN, kliknij prawym przyciskiem myszy i wybierz Zastosuj regułę Utwórz regułę . Na stronie Wybór kreatora nowej reguły pola wybierz Funkcje manipulacji ciągami . Na następnej stronie – Funkcje manipulacji ciągami – wybierz sub_string . W przesunięciu wpisz 6 jako liczbę znaków z lewej strony pola, a w polu Długość wpisz 4 jako długość podciągu, a następnie kliknij Zakończ .
Dodaj filtr uwzględniania
Aby kontynuować modyfikowanie pliku CSV, dodamy filtr ograniczający dane tak, aby obejmowały tylko te rekordy z urzędu certyfikacji. Kliknij Rekorduj filtr aby utworzyć filtr. Wybierz opcję Uwzględnij dla akcji filtrowania i wybierz Nowy warunek dla typu. Otwórz Kreatora wyrażeń, klikając ikonę Funkcja. 
W Kreatorze wyrażeń wybierz kategorię Operatory relacyjne i pozycja EQ . W Wyrażeniu pole u góry, wpisz STATE EQ „CA” za pomocą narzędzi na pasku narzędzi i kliknij Zakończ .
Wracając na stronę Data Targets, decydujemy się zmienić położenie pól nazwiska i imienia za polem zip. Wybierz NAZWISKO i kliknij W dół aż pole znajdzie się na dole listy, a następnie wybierz IMIĘ i zrób to samo.
Kiedy skończymy dodawać oba cele, pola i modyfikacje zostaną wyświetlone na stronie Data Targets.
Kliknij Zakończ aby dokończyć budowanie skryptu, co pokazano poniżej w widoku edytora IRI Workbench z kodowaniem kolorami, uwzględniającym składnię:
Wyniki
Uruchom skrypt zadania, klikając skrypt prawym przyciskiem myszy i wybierając opcjęUruchom jako> Zadanie IRI . Dane docelowe są pokazane w zakładkach otwartych poniżej:
Jeśli masz jakiekolwiek pytania dotyczące replikacji danych w NextForm lub Voracity, skontaktuj się z przedstawicielem IRI.
- W Eksploratorze źródeł danych kliknij prawym przyciskiem myszy tabelę i wybierz IRI Generuj DDF . Tworzy to DDF dla tabeli w aktywnym folderze projektu i będzie się do niego odwoływać silnik manipulacji danymi IRI w czasie wykonywania.
