Oracle
 sql >> Baza danych >  >> RDS >> Oracle

Zautomatyzuj zadania integracji danych IRI za pomocą Oracle Job Scheduler

Harmonogramy zadań to programy komputerowe kontrolujące wykonywanie innych programów w tle lub w ramach procesów wsadowych. Ta automatyzacja obciążenia jest zwykle koordynowana, aby tradycyjne przetwarzanie danych w tle można było zintegrować z działaniami biznesowymi w czasie rzeczywistym bez wyczerpywania zasobów lub zakłócania innych aplikacji. Harmonogram zadań automatyzuje interfejsy w przepływach pracy, przesyła i monitoruje wykonanie oraz kolejkuje kolejność wykonywania niepowiązanych zadań, dzięki czemu operacje są obsługiwane we właściwej kolejności i podlegają określonym warunkom.

Popularnym narzędziem do automatyzacji procesów bazodanowych jest wbudowany harmonogram zadań Oracle. Może być używany nie tylko do automatyzacji procedur SQL i operacji narzędziowych, ale także do procesów innych firm wpływających na wydajność Oracle. Administratorzy baz danych Oracle rutynowo używają IRI FACT, IRI CoSort i SQL*Loader, aby usunąć obciążenie związane z przekształceniami z warstwy bazy danych i usprawnić przepływ pracy w dużych operacjach ETL i reorganizacji offline. Narzędzia te można teraz łączyć i planować za pomocą narzędzia Oracle Job Scheduler w IRI Workbench, środowisku GUI zbudowanym na Eclipse™.

Czy to w wierszu poleceń, interfejsie Oracle, czy IRI w Eclipse™, administratorzy baz danych Oracle mogą teraz planować współzależne kroki ETL lub konfigurować operacje rozładowywania/sortowania/przeładowywania (reorg) za pomocą oprogramowania IRI. Dzięki Oracle Job Scheduler DBMS_SCHEDULER, administratorzy baz danych i architekci hurtowni danych mogą określić, kiedy inicjować wyciągi FACT, sortowanie/transformacje/raporty CoSort i/lub ładowanie zbiorcze, a także określać zależności między tymi procesami.

Oracle Job Scheduler pomaga użytkownikowi zarządzać różnymi zadaniami i planować je, dzięki czemu ręczna interwencja nie jest wymagana. Aby korzystać z harmonogramu zadań, potrzebne są trzy małe skrypty:

• Procedura montażu procesu ETL

• Funkcja przechwytywania dowolnych wiadomości z programu Java

• Program Java do obsługi wywołań wiersza poleceń do kroków ETL:FACT (E), CoSort SortCL (T) i Oracle SQL*Loader (L)

Gdy skrypty są gotowe, użytkownik może stworzyć procedurę automatyzującą pożądaną pracę. Użytkownik może określić datę i godzinę rozpoczęcia procedury. Użytkownik może również określić, jak często chce, aby zadanie było uruchamiane (co tydzień, codziennie, co godzinę lub o określonej godzinie i dacie z dokładnością do 30 sekund).

Harmonogram będzie zarządzał krokami tak, aby były wykonywane we właściwej kolejności. Możliwe jest również zdefiniowanie kontroli niestandardowych, aby upewnić się, że następny krok nie rozpocznie się, chyba że poprzedni się powiódł lub nie spełnił określonych kryteriów.

W poniższym przykładzie użytkownik wybrał procedurę „runFlow”, aby inicjować zdefiniowane kroki w każdy wtorek o 8:00 i w każdy piątek o 15:00.


DECLARE
JobNo user_jobs.job%TYPE;
v_date1 date :=to_date('20130312 080000′,'rrrrmmdd hh24miss');
v_date2 date :=to_date('20130315 150000 ′,'rrrrmmdd hh24miss');
BEGIN
dbms_job.submit( JobNo,  –Job ID
'begin runFlow; end;', ​​— Procedura wykonania
v_date1, — start uruchomiony o
'SYSDATE + 7' — interwał zadań
);
COMMIT;
dbms_job.submit(  JobNo,  – Job ID
'begin runFlow; end; ', — Procedura wykonania
v_date2, — rozpocznij działanie o
'SYSDATE + 7' — interwał zadań
);
ZATWIERDZENIE;
END;

Automatyzacja procesów ETL w ten sposób niesie ze sobą znaczne korzyści, szczególnie dla administratorów baz danych Oracle, którzy już znają DBMS_SCHEDULER. Metoda ta pozwala zaoszczędzić koszty kosztownych pakietów ETL lub planowania zadań, zminimalizować ryzyko błędu ludzkiego i wykluczyć potrzebę ręcznej interwencji. Możliwe jest również wykorzystanie integracji do automatyzacji reorgingu offline i kroków związanych z ELT.

Jeśli masz jakiekolwiek pytania dotyczące wdrażania etapów pracy IRI w Oracle Job Scheduler lub chciałbyś otrzymać przykład białej księgi, skontaktuj się z nami.


  1. Database
  2.   
  3. Mysql
  4.   
  5. Oracle
  6.   
  7. Sqlserver
  8.   
  9. PostgreSQL
  10.   
  11. Access
  12.   
  13. SQLite
  14.   
  15. MariaDB
  1. Jak znaleźć zablokowane wiersze w Oracle

  2. Tabela przestawna z wartościami niekardynalnymi

  3. Opowieść o dwóch czynnikach klastrowania

  4. Oracle Wait Events, o których każdy powinien wiedzieć

  5. wyrocznia | usuń duplikaty rekordów