Bazy danych uczenia maszynowego stają się coraz bardziej dojrzałe. Daje to ogromne możliwości profesjonalistom w zakresie baz danych, którzy mogą ewoluować, aby skorzystać z tej zmiany.
Obecnie specjaliści od baz danych, np. administratorzy baz danych (DBA) i programiści baz danych, to jedne z najważniejszych stanowisk w każdej organizacji IT. Specjalista ds. baz danych jest odpowiedzialny za tworzenie, zarządzanie i zapewnianie kontrolowanego dostępu do bazy danych. Posiadanie odpowiedniej osoby jako DBA może pomóc firmom zaoszczędzić czas i skrócić czas tworzenia aplikacji. Jednak wraz z rosnącym dostępem do ogromnej ilości danych obowiązki specjalisty ds. baz danych szybko ewoluują.
Opracowano kilka technologii, które można wykorzystać nie tylko do zarządzania danymi i ich eksploracji, ale także do podejmowania świadomych decyzji na podstawie danych. Uczenie maszynowe to jedna z takich technologii, która odnotowała ogromny wzrost w ciągu ostatniej dekady. Ten artykuł zawiera krótki przegląd tego, w jaki sposób uczenie maszynowe może wpływać na zawody związane z bazami danych i jakie są zalety posiadania uczenia maszynowego jako zestawu umiejętności.
Co to jest uczenie maszynowe?
Uczenie maszynowe to proces rozumienia i wydobywania przydatnych wzorców z danych za pomocą różnych algorytmów statystycznych. Uczenie maszynowe dzieli się dalej na techniki uczenia nadzorowanego i nienadzorowanego. Uczenie maszynowe jest obecnie wykorzystywane do rozwiązywania wielu złożonych problemów, takich jak klasyfikowanie wiadomości e-mail z szynką i spamem, przewidywanie cen domów, generowanie poezji, klasyfikacja obrazów i tak dalej.
Czy uczenie maszynowe zastąpi zawody związane z bazami danych?
Jednym z najczęstszych nieporozumień dotyczących uczenia maszynowego jest to, że zastąpi ono ludzi w wielu miejscach pracy. Chociaż może to być prawdą w przypadku niektórych powtarzalnych zadań, sztuczna inteligencja i uczenie maszynowe zasadniczo uzupełniają ludzki mózg, a nie go zastępują. Dla profesjonalistów baz danych, bazy danych uczenia maszynowego ich nie zastąpią, a raczej bardzo im pomogą.
Pozwoli to specjalistom ds. baz danych skoncentrować się znacznie bardziej na planowaniu i zadaniach strategicznych, ponieważ zautomatyzuje bardziej nudne i autonomiczne zadania, takie jak instalacja, konfiguracja i regularne aktualizacje bazy danych. Dlatego zamiast obawiać się wpływu uczenia maszynowego na ich pracę, specjaliści od baz danych powinni przyjąć je jako sposób na znacznie szybsze i wydajniejsze wykonywanie mniej wymagających zadań. .
Obsługa Big Data to wyzwanie
Ze względu na rozwój ogólnoświatowej sieci w ciągu ostatnich dwóch dekad dane są dostępne we wszystkich kształtach i rozmiarach. W rzeczywistości termin „big data” jest często używany w odniesieniu do zbioru danych o dużej objętości, przychodzących z dużą prędkością i zawierających różnorodną zawartość.
Obsługa ogromnych ilości takich nieustrukturyzowanych danych stała się wyzwaniem dla DBA. Stwierdzono, że algorytmy działające w bazach danych uczenia maszynowego działają dobrze również w przypadku danych nieustrukturyzowanych. Ogromną ilość danych można łatwo podzielić na znaczące informacje za pomocą technik uczenia maszynowego, które podkreślają potrzebę zdobycia umiejętności uczenia maszynowego przez specjalistów od baz danych.
Bazy danych uczenia maszynowego są tutaj
Firmy takie jak Microsoft i Oracle już zaczęły wprowadzać do baz danych różne możliwości uczenia maszynowego. Na przykład baza danych Microsoft Azure SQL Database zawiera moduł, który sugeruje i zaleca różne strategie poprawy wydajności, które można zastosować automatycznie. Podobnie magazyn zapytań programu SQL Server zapewnia plan identyfikowania zapytań powodujących wąskie gardła wydajności. Baza danych Oracle 18c zawiera funkcje samonaprawiania i może stosować samodzielne poprawki i uaktualniać w przypadku wystąpienia problemu z bazą danych. Dobra znajomość uczenia maszynowego w rzeczywistości pomaga programistom baz danych zrozumieć uzasadnienie różnych zaleceń wydawanych przez narzędzia baz danych uczenia maszynowego.
Nadejście w pełni autonomicznych baz danych
Obecne bazy danych uczenia maszynowego mają ograniczone możliwości. Obecnie prowadzone badania koncentrują się na opracowaniu w pełni zautomatyzowanych baz danych. Czy nie byłoby miło mieć bazę danych, która potrafi przewidywać problemy, które się pojawią i jest na tyle proaktywna, aby z wyprzedzeniem podejmować działania zapobiegawcze? A może nie ułatwiłoby życia profesjonalistom zajmującym się bazami danych, gdyby baza danych automatycznie tworzyła kopie zapasowe w przypadku wystąpienia kluczowej transakcji? Istnieje wiele scenariuszy, w których bazy danych uczenia maszynowego są niezwykle przydatne.
Na przykład istniejące bazy danych wykonują automatyczne kopie zapasowe w określonym czasie, ale nie wszystkie transakcje bazy danych są warte tworzenia kopii zapasowych. W takim scenariuszu bazy danych uczenia maszynowego mogą stać się wystarczająco inteligentne, aby wiedzieć, kiedy tworzyć kopie zapasowe, a kiedy nie.
Co więcej, wiele problemów z bazą danych można przewidzieć z wyprzedzeniem. Na przykład w scenariuszach, w których wielu użytkowników uzyskuje dostęp do różnych zasobów bazy danych, prawdopodobieństwo zakleszczenia wzrasta wielokrotnie. Gdyby tak się działo, baza danych uczenia maszynowego mogłaby przejść do zapewniania kontrolowanego dostępu do zasobów i uniknięcia impasu.
Istnieje kilka akademickich grup badawczych, które próbowały stworzyć w pełni autonomiczne bazy danych.
Carnegie Mellon Database Research Group opracowała projekt OtterTune który wykorzystuje techniki uczenia maszynowego i dane o obciążeniach z ogromnej liczby starych baz danych do tworzenia modeli zdolnych do automatycznego dostrajania nowych obciążeń. Baza danych uczenia maszynowego OtterTune również automatycznie zaleca optymalne ustawienia w celu zwiększenia przepustowości i zmniejszenia opóźnień dla nowych aplikacji bazodanowych.
MIT opracował również platformę zarządzania bazami danych typu open source o nazwie DBSee r który przewiduje wydajność dla danego zestawu zasobów bazy danych i identyfikuje również wąskie gardła wydajności.
Krzywa uczenia się
Uczenie maszynowe jest często definiowane jako skrzyżowanie informatyki i statystyki. Każdy, kto ma wiedzę z zakresu informatyki, może stosunkowo szybko rozwinąć swoje umiejętności uczenia maszynowego do poziomu pośredniego, jeśli rozwinie rozsądne zrozumienie statystyk.
Wiele narzędzi GUI i platform chmurowych, takich jak Google AI, IBM Watson, Amazon Sagemaker, Azure ML, uprościło proces wdrażania technik uczenia maszynowego, udostępniając oparte na GUI interfejsy typu „przeciągnij i upuść” dla baz danych uczenia maszynowego. Użytkownicy muszą tylko wiedzieć, jak korzystać z narzędzia, ponieważ większość pracy (dodawanie zestawów danych, wybór technik wstępnego przetwarzania, trenowanie modelu i wreszcie ocena modelu) można wykonać za pomocą kilku kliknięć myszką.
Jeśli specjalista od baz danych naprawdę chce zbudować karierę w zaawansowanym uczeniu maszynowym, będzie musiał zdobyć dogłębną wiedzę na temat statystyk. Wykształcenie informatyczne specjalisty od baz danych będzie wystarczająco dobre, aby szybko zrozumieć koncepcje uczenia maszynowego związane z CS.
Jednak, jak powiedzieliśmy powyżej, jeśli specjalista od baz danych jest zainteresowany wykorzystaniem uczenia maszynowego tylko do automatyzacji powtarzalnych zadań, znajomość narzędzi uczenia maszynowego opartych na GUI będzie więcej niż wystarczająca.
Wiele ścieżek kariery
Sukces uczenia maszynowego i sztucznej inteligencji skłonił organizacje do tworzenia dedykowanych zespołów zajmujących się badaniem danych, w skład których wchodzą wykwalifikowanych ekspertów w zakresie uczenia maszynowego.
Obecnie eksperci od uczenia maszynowego i specjaliści od baz danych mają różne ścieżki kariery, jednak coraz więcej organizacji będzie oczekiwać, że eksperci od uczenia maszynowego lub nauki o danych będą mieli pewien poziom wiedzy o bazach danych i na odwrót.
Biorąc pod uwagę, że obecnie sytuacja się zmienia, preferowani są specjaliści od baz danych ze znajomością umiejętności uczenia maszynowego i mają większe szanse na zatrudnienie jako specjalista ds. baz danych, ekspert w zakresie uczenia maszynowego lub osoba z obydwoma obowiązkami zawodowymi.
Ostateczny werdykt
Pojawienie się big data i powiązanych technik uczenia maszynowego prawdopodobnie przyniesie znaczące zmiany w obowiązkach zawodowych specjalistów baz danych, ponieważ z czasem ich uwaga zostanie skupiona na danych z bazy danych, ponieważ bazy danych uczenia maszynowego w coraz większym stopniu zarządzają sobą.
Uczenie maszynowe pomoże specjalistom ds. baz danych zautomatyzować wiele ręcznych i żmudnych zadań, a także pozwoli im poświęcić czas i wysiłek na opanowanie umiejętności uczenia maszynowego i wykorzystanie ich.
Poznanie statystyk wymaganych do przejścia od specjalisty ds. baz danych do szerszej bazy danych i uczenia maszynowego nie jest proste, ale przyniesie duże korzyści pod względem rozwoju kariery i możliwości.
