Wprowadzenie do wolno zmieniających się wymiarów (SCD)

Wymiar to struktura, która kategoryzuje zbiór informacji, tak aby można było uzyskać sensowne odpowiedzi na pytania dotyczące tych informacji. Wymiary w zarządzaniu danymi i hurtowniach danych zawierają względnie statyczne dane; jednak te dane wymiarowe mogą zmieniać się powoli w czasie iw nieprzewidywalnych odstępach czasu. Te typy danych wymiarowych są znane jako wolno zmieniające się wymiary (SCD).

W środowisku hurtowni danych tabela wymiarów ma klucz podstawowy, który jednoznacznie identyfikuje każdy rekord i inne informacje znane jako dane wymiarowe. Klucz podstawowy połączy się z tabelą faktów za pomocą tego klucza. Dlatego ważne jest posiadanie modelu do aktualizacji i obsługi danych bieżących oraz danych historycznych. Istnieją uznane modele, które są znane ze swoich typów:

• Typ 1 — ten model polega na zastąpieniu starej wartości bieżącej nową wartością bieżącą. Żadna historia nie jest przechowywana.
• Typ 2 – Aktualne i historyczne zapisy są przechowywane i utrzymywane w tym samym pliku lub tabeli.
• Typ 3 — dane bieżące i dane historyczne są przechowywane w tym samym rekordzie. Użytkownik decyduje, ile historii jest przechowywane w rekordzie.
• Typ 4 — w tym modelu bieżące dane są przechowywane w dwóch różnych tabelach; jeden dla danych bieżących i jeden, który zawiera wszystkie dane historyczne.
• Typ 6 – Ten model jest hybrydą Typu 1, Typu 2 i Typu 3.

Wszystkie metody aktualizacji dla różnych modeli SCD można wykonać za pomocą programu SortCL w IRI CoSort lub IRI Voracity. Voracity zapewnia teraz również jednego, kompleksowego kreatora tworzenia miejsc pracy, który automatycznie tworzy te programy; patrz poniżej. Większość typów używa pełnego sprzężenia zewnętrznego w celu dopasowania rekordów z głównego źródła danych do rekordów w źródle aktualizacji na podstawie przyrównania unikatowego klucza z każdego z nich. Rekordy z dopasowaniami muszą zostać zaktualizowane w masterze. Rekordy w źródle aktualizacji, które nie pasują do siebie, muszą zostać dodane do wzorca.

Moje artykuły na temat różnych typów SCD pokazują źródło lub dane wejściowe w plikach i pokazują skrypty SortCL, które są używane do aktualizacji plików głównych. Tabele mogą być również źródłem tych skryptów.

W każdym przykładzie omówię kroki, aby zaktualizować źródło wymiarów, które utrzymuje koszty produktu, które zmieniają się w nieregularnych odstępach czasu. Kluczowe pole lub kolumna to ProductCode. Wszystkie źródłowe pliki główne będą zawierać następujące dane:

Źródło master1.dat zawiera:

Wszystkie dane aktualizacji będą miały tę samą datę rozpoczęcia. Źródło aktualizacji zawiera następujące dane:

Raportowanie SCD jest również omawiane na stronie internetowej IRI tutaj. Zapoznaj się z tymi artykułami dotyczącymi dysków SCD:Typ 1, Typ 2, Typ 3, Typ 4 i Typ 6.

Nowy kreator graficzny SCD

Użytkownicy Voracity mogą teraz również używać specjalnie zaprojektowanego kreatora tworzenia zadań do tworzenia raportów o typach SCD 1, 2, 3, 4 i 6 w interfejsie graficznym IRI Workbench zbudowanym na platformie Eclipse. Kreator obsługuje również integrację sortowania, oceny wyrażeń, agregacji, nowego formatowania, szyfrowania i nie tylko.

Po skonfigurowaniu zadania i wybraniu typu SCD w kreatorze, określasz dane podstawowe i informacje o aktualizacji. Następnie określasz mapowania dla celu, umieszczając pola zgodnie z dopasowanymi polami źródłowymi i używając pól kombi w razie potrzeby, pracuj z bieżącymi i historycznymi zestawami pól. Po połączeniu określonych informacji na stronie Dołącz do źródeł tworzony jest odpowiedni skrypt, gotowy do tworzenia diagramów, wykonywania, modyfikowania lub udostępniania.

Artykuły związane z powyższymi typami zostaną zaktualizowane, aby odzwierciedlić, w jaki sposób nowy kreator SCD w Vorality może automatycznie tworzyć te zadania dla Ciebie.