Migracja z bazy danych Oracle do MariaDB — co powinieneś wiedzieć

Gartner przewiduje, że do 2022 r. 50% istniejących komercyjnych baz danych zostanie przekonwertowanych na bazy danych typu open source. Co więcej, 70% nowych aplikacji wewnętrznych zostanie opracowanych na platformie bazodanowej typu open source (stan rynku Open-Source DBMS, 2018).

Są to wysokie liczby, biorąc pod uwagę dojrzałość, stabilność i krytyczność popularnego, zastrzeżonego oprogramowania bazodanowego. To samo można zaobserwować w rankingu najlepszych baz danych, gdzie większość z dziesięciu najlepszych baz danych jest open source.

Co popycha firmy do takich ruchów?

Powodów migracji systemów baz danych może być wiele. Dla niektórych głównym powodem będzie koszt licencji i własności; ale czy naprawdę chodzi tylko o koszt? Czy oprogramowanie open source jest wystarczająco stabilne, aby przenieść krytyczne systemy produkcyjne do nowego świata open source?

Bazy danych typu open source, zwłaszcza nowe wnoszone do organizacji, często pochodzą od dewelopera w zespole projektowym. Został wybrany, ponieważ jest bezpłatny (nie wpływa na wydatki zewnętrzne projektu) i spełnia aktualne wymagania techniczne.

Ale darmowy aspekt nie przychodzi po prostu za darmo, ponieważ musisz wziąć pod uwagę wiele czynników, w tym migrację i koszt roboczogodzin. Im płynniejsza migracja, tym mniej czasu i pieniędzy wydanych na projekt.

Migracje baz danych mogą stanowić wyzwanie, szczególnie w przypadku heterogenicznych, zastrzeżonych migracji baz danych, takich jak Oracle do PostgreSQL, Oracle do Percona lub MySQL. Złożona struktura schematu, typy danych i kod bazy danych, taki jak PL/SQL, mogą się znacznie różnić od docelowych baz danych,
wymagając etapu transformacji schematu i kodu przed rozpoczęciem migracji danych.

W ostatnim artykule mojego kolegi Paula Namuaga zbadał, jak przeprowadzić migrację Oracle do Percony.

Tym razem przyjrzymy się, co powinieneś wiedzieć przed migracją z Oracle do MariaDB.

MariaDB obiecuje funkcje korporacyjne i funkcje migracji, które mogą pomóc w migracji baz danych Oracle do świata open source.

W tym poście na blogu omówimy następujące kwestie:

• Dlaczego migrować?
• Różnice w silnikach pamięci
• Zagadnienia dotyczące łączności z bazą danych
• Prostota instalacji i administracji
• Różnice w zabezpieczeniach
• Replikacja i HA
• PL/SQL i kod bazy danych
• Klastrowanie i skalowanie
• Tworzenie kopii zapasowych i odzyskiwanie
• Zgodność z chmurą
• Różne uwagi

Dlaczego migrować z Oracle?

Większość przedsiębiorstw będzie korzystać z Oracle lub SQL Server lub ich kombinacji, z małymi grupami odizolowanych baz danych open source działających niezależnie. Małe i średnie przedsiębiorstwa skłaniałyby się do wdrażania głównie baz danych o otwartym kodzie źródłowym, zwłaszcza w przypadku nowych aplikacji. Ale to się zmienia i często open source jest głównym wyborem nawet dla dużych organizacji.

Szybkie porównanie tych dwóch systemów baz danych wygląda następująco:

• Tylko Oracle Express Edition jest bezpłatne, ale ma bardzo ograniczone funkcje w porównaniu z MariaDB. Aby uzyskać rozbudowane funkcje, należy zakupić Oracle Standard Edition lub Oracle Enterprise Edition.
• Z drugiej strony społeczność MariaDB i MySQL ciężko pracowała, aby zminimalizować potencjalną lukę w funkcjach. Zgodność z zabezpieczeniami, kopie zapasowe na gorąco i wiele innych funkcji korporacyjnych są teraz dostępne w MariaDB.

Są rzeczy, które zawsze były bardziej elastyczne w MariaDB/MySQL niż w ogromnych konfiguracjach Oracle. Jednym z nich jest łatwość replikacji i pozioma skalowalność klastra.

Różnice w silnikach pamięci masowej

Najpierw zacznijmy od podstaw. Nadal można usłyszeć wiele legend i mitów dotyczących ograniczeń MySQL lub MariaDB, które w większości odnoszą się do mrocznych czasów, gdy głównym silnikiem pamięci masowej był MyISAM.

MyISAM był domyślnym silnikiem pamięci masowej od MySQL 3.23, dopóki nie został zastąpiony przez InnoDB w MariaDB 5.5. Jest to lekki, nietransakcyjny silnik o doskonałej wydajności, ale nie oferuje blokowania na poziomie wiersza ani niezawodności InnoDB.

Dzięki InnoDB (domyślnemu silnikowi pamięci masowej) MariaDB oferuje dwie standardowe blokady na poziomie wiersza, które są blokadami współdzielonymi (S) i blokadami wyłącznymi (X). Uzyskuje się wspólną blokadę, aby odczytać wiersz i umożliwia innym transakcjom odczytanie zablokowanego wiersza. Różne transakcje mogą również uzyskiwać własne współdzielone blokady.
Konkretna blokada jest uzyskiwana w celu zapisania w wierszu i uniemożliwia dodatkowym transakcjom blokowanie tego samego wiersza.

InnoDB zdecydowanie pokryło największą lukę w funkcjach transakcyjnych między tymi dwoma systemami.

Ze względu na podłączany charakter MariaDB oferuje jeszcze więcej silników pamięci masowej, dzięki czemu można lepiej dostosować go do określonego obciążenia. Tj. gdy liczy się miejsce, możesz skorzystać z TokuDB, który oferuje świetny współczynnik kompresji, Spider zoptymalizowany pod kątem partycjonowania i dzielenia danych, ColumnStore do skalowania dużych zbiorów danych.

Niemniej jednak, dla tych, którzy migrują z Oracle, moim zaleceniem byłoby najpierw skorzystać z silnika pamięci masowej InnoDB.

Zagadnienia dotyczące łączności

MariaDB współdzieli z Oracle dobrą obsługę dostępu do baz danych, w tym sterowniki ODBC i JDBC, a także biblioteki dostępu dla Perl, Python i PHP. Zarówno MySQL, jak i Oracle obsługują duże obiekty binarne, typy danych znakowych, numerycznych i daty. Więc nie powinieneś mieć problemów ze znalezieniem odpowiedniego złącza dla usług aplikacji.

MariaDB nie ma dedykowanego procesu nasłuchiwania do obsługi połączeń z bazą danych ani adresu SCAN dla klastrowanej bazy danych, jak to znamy z Oracle. Nie znajdziesz również elastycznych usług bazodanowych. Zamiast tego będziesz musiał skonfigurować ręcznie między gniazdem Unix (lokalny, najbezpieczniejszy sposób łączenia bazy danych - aplikacja na tym samym serwerze), połączeniami zdalnymi (domyślnie MariaDB nie zezwala na zdalne logowanie), a także potokiem i pamięcią dostępną w systemie Windows tylko systemy. W przypadku klastra adres SCAN należy zastąpić modułem równoważenia obciążenia. MariaDB zaleca korzystanie z innego produktu MaxScale, ale można również znaleźć inne, takie jak ProxySQL lub HAproxy, które będą działać z MariaDB, z pewnymi ograniczeniami. Chociaż korzystanie z zewnętrznych systemów równoważenia obciążenia dla MariaDB może być trudne, możesz znaleźć świetne funkcje, które dla porównania nie są dostępne w bazie danych Oracle.

Load balancer byłby również rekomendacją dla tych, którzy szukają Oracle Transparent Application Failover (TAF), Oracle Firewall DB lub niektórych zaawansowanych funkcji bezpieczeństwa, takich jak Oracle Connection Manager. Więcej informacji na temat wyboru odpowiedniego systemu równoważenia obciążenia znajdziesz w poniższym dokumencie.

Chociaż technologie te są bezpłatne i można je wdrażać ręcznie za pomocą instalacji opartych na skryptach, systemy takie jak ClusterControl automatyzują proces za pomocą interfejsu typu „wskaż i kliknij”. ClusterControl umożliwia również wdrażanie technologii buforowania.

Prostota instalacji i administracji

Najnowsza dostępna wersja Oracle DB dodała długo oczekiwaną funkcję instalacji:Oracle 18c można teraz zainstalować na Oracle Linux za pomocą RPM. Dedykowana instalacja oparta na Javie zawsze była problemem dla tych, którzy chcieli napisać automatyzację swoich książek kucharskich lub fragmentów kodu Puppet. Mógłbyś skorzystać z predefiniowanej cichej instalacji, ale plik zmieniał się od czasu do czasu i nadal musiałeś radzić sobie z piekłem zależności. Instalacja oparta na obrotach była zdecydowanie dobrym posunięciem.

Jak to działa w MariaDB?

Dla tych, którzy przenoszą się ze świata Oracle, zawsze jest miłą niespodzianką zobaczyć, jak szybko możesz wdrażać instancje, tworzyć nowe bazy danych, a nawet konfigurować złożone przepływy replikacji. Proces instalacji i konfiguracji jest prawdopodobnie najbardziej płynną częścią procesu migracji. Chociaż wybór odpowiednich ustawień wymaga czasu i wiedzy.

Oracle dostarcza zestaw binarnych dystrybucji MySQL. Obejmują one ogólne dystrybucje binarne w postaci skompresowanych plików tar (pliki z rozszerzeniem .tar.gz) dla wielu platform i plików binarnych w pakietach specyficznych dla platformy. Na platformie Windows możesz znaleźć standardowego kreatora instalacji poprzez GUI.

Asystent konfiguracji bazy danych Oracle (DBCA) w zasadzie nie jest potrzebny, ponieważ będziesz mógł utworzyć bazę danych za pomocą polecenia w jednym wierszu.

CREATE [OR REPLACE] {DATABASE | SCHEMA} [IF NOT EXISTS] db_name
    [create_specification] ...

create_specification:
    [DEFAULT] CHARACTER SET [=] charset_name
  | [DEFAULT] COLLATE [=] collation_name

Możesz także mieć bazę danych z różnymi sortowaniami baz danych i zestawami znaków w tej samej instancji MariaDB.

Konfiguracja replikacji polega po prostu na włączeniu rejestrowania binarnego na urządzeniu głównym (podobnie do dziennika archiwum w Oracle) i uruchomieniu następującego polecenia na urządzeniu podrzędnym, aby dołączyć go do urządzenia głównego.

CHANGE MASTER TO
MASTER_HOST = host,
MASTER_PORT = port,
MASTER_USER = replication_user,
MASTER_PASSWORD = password,
MASTER_AUTO_POSITION = 1;

Bezpieczeństwo i zgodność

Oracle zapewnia zwiększone bezpieczeństwo bazy danych.

Uwierzytelnianie użytkownika odbywa się w Oracle poprzez określenie ról globalnych oprócz lokalizacji, nazwy użytkownika i hasła. W Oracle uwierzytelnianie użytkownika odbywa się za pomocą różnych metod uwierzytelniania, w tym uwierzytelniania bazy danych, uwierzytelniania zewnętrznego i uwierzytelniania proxy.

Przez długi czas role nie były dostępne w MariaDB ani MySQL. MariaDB dodała role w wersji 10.2 po ich pojawieniu się w MySQL 8.0.

Role, opcja często używana w typowych konfiguracjach Oracle DB, można łatwo przekształcić w MariaDB, dzięki czemu nie musisz tracić czasu na dostosowywanie uprawnień pojedynczego użytkownika.

Twórz, zmieniaj użytkownika, hasła:wszystko działa podobnie do Oracle DB.

Aby osiągnąć korporacyjne standardy bezpieczeństwa, MariaDB oferuje wbudowane funkcje, takie jak:

• Wtyczka audytu w
• Szyfrowanie danych w spoczynku
• Certyfikaty, połączenie TSS
• Wtyczka PAM

Oferty wtyczek audytu rodzaj drobnoziarnistego audytu (FGA) lub AUDI SQL dostępnego w Oracle. Nie oferuje tego samego zestawu funkcji, ale zwykle jest wystarczająco dobry, aby spełnić audyty zgodności bezpieczeństwa.

Szyfrowanie danych w spoczynku Szyfrowanie danych w spoczynku może być wymagane przez przepisy bezpieczeństwa, takie jak HIPAA lub PCI DSS. Takie szyfrowanie można realizować na wielu poziomach – można zaszyfrować cały dysk, na którym przechowywane są pliki. Możesz zaszyfrować tylko bazę danych MySQL dzięki funkcjonalności dostępnej w najnowszych wersjach MySQL lub MariaDB. Szyfrowanie można również zaimplementować w aplikacji, aby szyfrować dane przed zapisaniem ich w bazie danych. Każda opcja ma swoje wady i zalety:szyfrowanie dysku może pomóc tylko wtedy, gdy dyski zostaną fizycznie skradzione, ale pliki nie zostaną zaszyfrowane na uruchomionym serwerze bazy danych.

Wtyczka PAM rozszerza funkcjonalność rejestrowania na wąskie konta użytkowników z ustawieniami LDAP. W rzeczywistości uważam, że konfiguracja jest znacznie łatwiejsza niż integracja LDAP z bazą danych Oracle.

Replikacja i HA

MariaDB jest dobrze znana z prostoty i elastyczności replikacji. Domyślnie możesz odczytywać, a nawet zapisywać na swoich serwerach oczekujących/podrzędnych. Na szczęście wersje MySQL 10.X przyniosły wiele znaczących ulepszeń do replikacji, w tym globalne identyfikatory transakcji, sumy kontrolne zdarzeń, wielowątkowe moduły podrzędne i bezpieczne w razie awarii moduły podrzędne/nadrzędne, dzięki czemu replikacja jest jeszcze lepsza. Administratorzy baz danych przyzwyczajeni do odczytu i zapisu replikacji MySQL oczekiwaliby podobnego lub nawet prostszego rozwiązania od jego większego brata, firmy Oracle. Niestety nie domyślnie.

Standardowa implementacja fizycznej gotowości dla Oracle jest zamknięta dla wszelkich operacji odczytu i zapisu. W rzeczywistości Oracle oferuje logiczne zróżnicowanie, ale ma wiele ograniczeń i nie jest przeznaczony do HA. Rozwiązaniem tego problemu jest dodatkowa płatna funkcja o nazwie Active Data Guard, której można używać do odczytywania danych z trybu gotowości podczas stosowania logów ponownego przetwarzania.

Active Data Guard to płatne rozwiązanie dodatkowe do bezpłatnego oprogramowania do odzyskiwania danych po awarii firmy Oracle, dostępnego tylko dla Oracle Database Enterprise Edition (licencja o najwyższym koszcie). Zapewnia dostęp tylko do odczytu, stale wprowadzając zmiany wysyłane z podstawowej bazy danych. Jako baza danych w aktywnej rezerwie pomaga odciążyć kwerendy odczytu, raportowanie i tworzenie przyrostowych kopii zapasowych z podstawowej bazy danych. Architektura produktu została zaprojektowana tak, aby umożliwić izolację rezerwowych baz danych od awarii, które mogą wystąpić w podstawowej bazie danych.

Ekscytującą cechą bazy danych Oracle 12c i czymś, czego brakuje Oracle DBA, jest sprawdzanie poprawności danych. Kontrole korupcji Oracle Data Guard są przeprowadzane w celu upewnienia się, że dane są dokładnie wyrównane, zanim dane zostaną skopiowane do rezerwowej bazy danych. Ten mechanizm może być również używany do przywracania bloków danych na podstawowym urządzeniu bezpośrednio z rezerwowej bazy danych.

MariaDB oferuje różne metody replikacji i funkcje replikacji, takie jak:

• synchroniczny,
• asynchroniczny,
• półsynchroniczne

Zestaw funkcji replikacji MariaDB jest bogaty. Dzięki replikacji synchronicznej można skonfigurować przełączanie awaryjne bez utraty transakcji zapisu. Aby zmniejszyć opóźnienia asynchronicznej replikacji, możesz chcieć skorzystać z równoległej replikacji w kolejności na urządzeniach podrzędnych. Zdarzenia, które można skompresować, to zdarzenia, które zwykle mogą mieć znaczny rozmiar:Zdarzenia zapytań (w przypadku DDL i DML w replikacji opartej na instrukcjach) oraz zdarzenia wiersza (w przypadku DML w replikacji opartej na wierszach). Podobnie jak w przypadku innych opcji kompresji skompresowana replikacja MariaDB jest przezroczysta. Jak wspomniano wcześniej, cały proces jest bardzo łatwy w porównaniu z fizyczną i logiczną replikacją Oracle Data Guard.

PL/SQL i kod bazy danych

Teraz dochodzimy do najtrudniejszej części:PL/SQL.

Podczas gdy królują replikacja i HA z MariaDB. Bez wątpienia Oracle jest królem PL/SQL.

PL/SQL jest główną przeszkodą w migracji do świata open source w wielu organizacjach. Ale MariaDB się tutaj nie poddaje.

MariaDB 10.3 (znana również jako MariaDB TX 3.0) dodała kilka niesamowitych nowych funkcji, w tym konstrukcje SEQUENCE, pakiety w stylu Oracle i typ danych ROW, co znacznie ułatwia migracje.

Dzięki nowemu parametrowi SQL_MODE =ORACLE, MariaDB może teraz analizować, w zależności od przypadku, kilka starszych wersji Oracle PL/SQL bez przepisywania kodu.

Jak możemy znaleźć na stronie z historią klienta, korzystając z podstawowej kompatybilności Oracle PL/SQL w MariaDB TX 3.0, singapurski Bank Rozwoju (DBS) był w stanie zmigrować ponad połowę swoich aplikacji o krytycznym znaczeniu dla firmy w ciągu zaledwie 12 miesięcy od Oracle Baza danych do MariaDB.

Nowy tryb zgodności pomaga w następującej składni:

• Składnia pętli
• Deklaracja zmiennej
• Konstrukcja procedury przechowywanej bez ANSI
• Składnia kursora
• Parametry procedury przechowywanej
• Dziedziczenie typu danych (%TYPE, %ROWTYPE)
• Wyjątki w stylu PL/SQL
• Synonimy podstawowych typów SQL (VARCHAR2, NUMBER, …)

Ale jeśli spojrzymy na starszą wersję 10.2, niektóre kompatybilności między Oracle i MariaDB pojawiły się już wcześniej:

• Typowe wyrażenia tabelowe
• Rekurencyjne zapytania SQL
• Funkcje Windows, NTILETE, RANK, DENESE_RANK.

Natywne parsowanie PL/SQL lub w niektórych przypadkach bezpośrednie wykonanie natywnych procedur Oracle może znacznie obniżyć koszty rozwoju.

Kolejną bardzo przydatną funkcją dodaną przez SQL_MODE=Oracle są sekwencje. Implementacja sekwencji w MariaDB Server 10.3 jest zgodna ze standardem SQL:2003 i obejmuje kompatybilność składni z Oracle.

Aby utworzyć sekwencję, używana jest instrukcja create:

CREATE SEQUENCE Sequence_1 
  START WITH 1  
  INCREMENT BY 1;

Po utworzeniu sekwencji można używać na przykład z wstawkami takimi jak:

INSERT INTO database (database_id, database_name) VALUES(Sequence_1.NEXTVAL, 'MariaDB');

Klastrowanie i skalowanie

MariaDB to asynchroniczny, aktywny-aktywny klaster baz danych z wieloma wzorcami.

Klaster MariaDB różni się od tego, co jest znane jako klaster Oracle MySQL - NDB.

Klaster MariaDB jest oparty na wtyczce replikacji multi-master dostarczanej przez Codership (Galera). Od wersji 5.5 technologia Galera (wsrep API) jest integralną częścią MariaDB. Architektura wtyczek Galera opiera się na trzech podstawowych warstwach:certyfikacji, replikacji i strukturze komunikacji grupowej.

Warstwa certyfikacji przygotowuje zestawy do zapisu i przeprowadza na nich kontrole certyfikacyjne, gwarantując, że można je zastosować.

Warstwa replikacji zarządza protokołem replikacji i zapewnia całkowitą możliwość zamawiania.

Group Communication Framework implementuje architekturę wtyczek, która umożliwia innym systemom łączenie się za pośrednictwem schematu zaplecza gcomm.

Główna różnica w stosunku do Oracle RAC polega na tym, że każdy węzeł ma oddzielne dane. Oracle RAC jest często mylony jako komplementarne rozwiązanie HA, podczas gdy dyski znajdują się zwykle w tej samej macierzy dyskowej. MariaDB oferuje nie tylko nadmiarową pamięć masową, ale także obsługuje klastry zlokalizowane geograficznie bez potrzeby dedykowanego światłowodu.

Kopia zapasowa i odzyskiwanie

Oracle oferuje wiele mechanizmów tworzenia kopii zapasowych, w tym tworzenie kopii zapasowych na gorąco, tworzenie kopii zapasowych, importowanie, eksportowanie i wiele innych.

W przeciwieństwie do MySQL, MariaDB oferuje zewnętrzne narzędzie do tworzenia kopii zapasowych na gorąco o nazwie mariabackup. Jest to rozwidlenie Percona XtraBackup zaprojektowane do pracy z zaszyfrowanymi i skompresowanymi tabelami i jest zalecaną metodą tworzenia kopii zapasowych dla baz danych MariaDB.

W serwerze MariaDB Server 10.1 wprowadzono kompresję MariaDB i szyfrowanie danych w spoczynku, ale istniejące rozwiązania do tworzenia kopii zapasowych nie zapewniały pełnej obsługi tych funkcji. Dlatego MariaDB zdecydowała się rozszerzyć XtraBackup (wersja 2.3.8) i nazwała to rozwiązanie Mariabackup.

Percona i Mariabackup oferują podobne funkcje, ale jeśli interesują Cię różnice, możesz je znaleźć tutaj.

MariaDB nie oferuje katalogu odzyskiwania kopii zapasowych bazy danych. Na szczęście można to rozszerzyć o systemy innych firm, takie jak ClusterControl.

Kompatybilność z chmurą

Infrastruktury chmurowe stają się obecnie coraz bardziej popularne. Chociaż maszyna wirtualna w chmurze może nie być tak niezawodna jak serwer klasy korporacyjnej, główni dostawcy usług w chmurze oferują różnorodne narzędzia zwiększające dostępność usług. Możesz wybierać między architekturą EC2 lub DBaaS, jak Amazon RDS.

Amazon RDS obsługuje MariaDB Server 10.3. Nie obsługuje SQL_MODE=Oracle, ale nadal można znaleźć zestaw funkcji ułatwiających migrację. Chmura Amazon obsługuje typowe zadania zarządzania, takie jak monitorowanie, tworzenie kopii zapasowych, wdrażanie wielu A-Z itp.

Inny popularny dostawca chmury, Google Cloud, również oferuje najnowszą wersję MariaDB. Możesz go wdrożyć jako obraz maszyny wirtualnej z certyfikatem kontenera lub biblioteki Bintami.

Azure oferuje również własną implementację MariaDB. Jest podobny do Amazon RDS, z kopiami zapasowymi, skalowaniem i kompilacjami w wysokiej dostępności. Gwarantowana umowa SLA wynosi 99,99%, co odpowiada 4 m 23 sekundy na miesiąc przestoju.

Różne kwestie

Jak wspomniano na samym początku tego artykułu, migracja Oracle do MariaDB jest procesem wieloetapowym. Ogólną radą jest, aby nie próbować migrować wszystkich baz danych naraz. Podzielenie migracji na małe partie jest w większości scenariuszy najlepszym podejściem.

Jeśli nie znasz technologii, spróbuj. Powinieneś czuć się pewnie z platformą i wiedzieć, że to zalety i wady. Testowanie zbuduje pewność siebie i wpłynie na Twoje decyzje dotyczące migracji.

Istnieją ciekawe narzędzia, które mogą pomóc w najtrudniejszym procesie migracji PL/SQL. Tak interesującymi z nich są dbconvert, narzędzie do konwersji schematu AWS – dokumentacja AWS.

Na przestrzeni lat MariaDB zyskała wsparcie i dojrzałość Enterprise do obsługi krytycznych i złożonych systemów transakcyjnych danych. W najnowszej wersji MariaDB dodała kilka wspaniałych nowych funkcji, takich jak zgodność z SQL_Mode=Oracle, dzięki czemu proces przejścia jest łatwiejszy niż kiedykolwiek wcześniej.

Na koniec możesz dołączyć do mnie 12 marca na seminarium internetowe, podczas którego przeprowadzę Cię przez wszystko, co musisz wiedzieć, jeśli chodzi o migrację z bazy danych Oracle do MariaDB.