Wielkie dane
Wielkie dane opisuje duże ilości danych, ustrukturyzowanych lub nieustrukturyzowanych, które codziennie zalewają firmę. Big Data traktuje o sposobach analizowania, wydobywania informacji lub radzenia sobie z zestawami danych, które są zbyt duże lub zbyt złożone, aby mogły być obsługiwane przez normalne oprogramowanie do przetwarzania danych.
Big data ma następujące cechy:
- Głośność: Ilość generowanych i przechowywanych danych
- Odmiana: Rodzaj i charakter danych
- Prędkość: Szybkość generowania i przetwarzania danych
- Wiarygodność: Jakość danych i wartość danych
Wpływ Azure na Big Data
Microsoft Azure przekształca dane w przydatne informacje za pomocą narzędzi uczenia maszynowego. Pozwala łączyć dowolne dane w dowolnej skali oraz budować i wdrażać modele uczenia maszynowego na dużą skalę.
Dzięki następującym produktom platformy Azure można przeprowadzać zaawansowane analizy Big Data:
- Hurtownia danych SQL
- Fabryka danych
- Magazyn Azure BLOB
- Azure Databricks
- Azure Cosmos DB
- Power BI
Przyjrzyjmy się każdemu z nich z osobna.
Hurtownia danych SQL
SQL Data Warehouse to oparta na chmurze EDW (Enterprise Data Warehouse), która wykorzystuje przetwarzanie równoległe masowo (duża liczba procesorów wykonujących równolegle zestaw obliczeń) do uruchamiania złożonych zapytań na petabajtach danych.
Po prostu importujesz duże dane do usługi SQL Data Warehouse za pomocą zapytań PolyBase T-SQL (zapytania odczytujące dane z Hadoop), a następnie, korzystając z funkcji MPP, przeprowadzasz wysokowydajne analizy. Hurtownia danych stanie się wtedy pojedynczą wersją prawdy, na którą możesz liczyć, jeśli chodzi o wgląd.
Fabryka danych
Data Factory to usługa integracji danych w chmurze, która łączy usługi przechowywania, przenoszenia i przetwarzania danych w zautomatyzowane potoki danych. Azure Data Factory to hybrydowa usługa integracji danych, która umożliwia tworzenie, planowanie i organizowanie przepływów pracy ETL/ELT (wyodrębnianie, przekształcanie, ładowanie).
Pamięć Azure BLOB
Magazyn Azure BLOB to niezwykle skalowalny magazyn obiektowy dla nieustrukturyzowanych dokumentów, obrazów, filmów i dźwięku. Magazyn Azure BLOB jest zoptymalizowany pod kątem przechowywania ogromnych ilości nieustrukturyzowanych danych (danych, które nie są zgodne z określonym modelem danych lub definicją), takich jak na przykład dane tekstowe lub binarne.
Magazyn Azure BLOB ma następujące funkcje:
- Wyświetlanie dokumentów lub obrazów bezpośrednio w przeglądarce
- Przechowywanie plików dla dostępu rozproszonego
- Przesyłanie strumieniowe audio i wideo
- Zapisywanie do plików dziennika
- Przechowywanie danych do odzyskiwania po awarii, tworzenia kopii zapasowych i przywracania oraz archiwizacji
Azure Databricks
Azure Databricks to łatwa, szybka i oparta na współpracy platforma analityczna oparta na Apache Spark (rozproszona platforma obliczeniowa klastrów ogólnego przeznaczenia typu open source, która zapewnia interfejs do programowania klastrów z niejawną równoległością danych).
Azure Cosmos DB
Azure Cosmos DB to globalnie dystrybuowana usługa bazy danych. Został zaprojektowany, aby zapewnić niskie opóźnienia, elastyczną skalowalność przepustowości, dobrze zdefiniowaną semantykę zapewniającą spójność danych i wysoką dostępność.
Power BI
Power BI to zestaw narzędzi do analizy biznesowej, które dostarczają szczegółowych informacji. Usługa Power BI umożliwia łączenie się z dziesiątkami źródeł danych, uproszczenie przygotowywania danych, prowadzenie analiz ad hoc, a także tworzenie raportów do wykorzystania w Internecie i na urządzeniach mobilnych.
Wniosek
Big Data ewoluowało i wciąż ewoluuje. Dzięki narzędziom Azure Big Data staje się coraz łatwiejsza w zarządzaniu.
