W tym samouczku Hadoop , omówimy koncepcję automatycznego przełączania awaryjnego NameNode w Hadoop. Przede wszystkim zobaczymy, co to jest przełączanie awaryjne i rodzaje przełączania awaryjnego. Następnie omówimy HDFS automatyczne przełączanie awaryjne w Hadoop.
Składniki automatycznego przełączania awaryjnego Hadoop w HDFS, takie jak kworum ZooKeeper, proces ZKFailoverController (ZKFC). Na koniec omówimy również role tych dwóch komponentów w Hadoop .
Co to jest przełączanie awaryjne?
Proces, w którym system przekazuje kontrolę do systemu wtórnego po wykryciu awarii, jest znany jako przełączenie awaryjne .
Przełączanie awaryjne jest dwojakiego rodzaju:
- Pełne przełączanie awaryjne – Administrator ręcznie inicjuje Graceful Failover, na przykład w przypadku rutynowej konserwacji. System nie aktywuje automatycznie przełączania awaryjnego z aktywnego węzła nazwy do stanu gotowości, nawet jeśli aktywny węzeł nie zadziałał w trybie Graceful Failover.
- Automatyczne przełączanie awaryjne – Automatyczne przełączanie awaryjne to proces, w którym system automatycznie przekazuje kontrolę do rezerwowego NameNode, gdy NameNode ulegnie awarii. W Hadoop automatyczne przełączanie awaryjne występuje w przypadku awarii NameNode. Ale w przypadku awarii NameNode, Failover uruchomi się automatycznie. To przełączanie awaryjne to automatyczne przełączanie awaryjne.
NameNode Automatyczne przełączanie awaryjne w Hadoop
Automatyczne przełączanie awaryjne w Hadoop dodaje poniższe składniki do wdrożenia Hadoop HDFS:
- Kworum ZooKeepera.
- Proces ZKFailoverController (ZKFC).
1. Kworum ZooKeepera
Zookeeper w Hadoop to scentralizowana usługa. Utrzymuje informacje o konfiguracji, nazewnictwo i zapewnia rozproszoną synchronizację. Świadczy również usługi grupowe. Zookeeper zarządza również i koordynuje dużą grupę maszyn.
Z poniższych powodów implementacja automatycznego przełączania awaryjnego HDFS opiera się na Zookeeperze:
- Wykrywanie awarii- Zookeeper w Hadoop prowadzi sesję z nazwami. W przypadku awarii sesja wygaśnie. Tak więc Zookeeper poinformuje inne namenody o rozpoczęciu procesu przełączania awaryjnego.
- Aktywny wybór NameNode- Prosty mechanizm zapewniany przez Zookeeper, aby wybrać tylko węzeł jako aktywny. W momencie awarii aktywnego namenoda, inny namenode może przyjąć wyłączną blokadę w Zookeeperze, stwierdzając, że chce zostać następnym aktywnym namenodem.
2. ZKFailoverController (ZKFC)
ZKFC jest klientem Zookeeper w Hadoop, który monitoruje i zarządza statusem nazwy. Każda z maszyn, które uruchamiają usługę namenode, obsługuje również ZKFS. Może obsłużyć:
- Monitorowanie zdrowia – Za pomocą polecenia sprawdzania kondycji ZKFS pinguje swój lokalny nazwanode. ZKFS uważa, że nazwanode jest zdrowe, o ile nazwanode odpowiada w danym momencie. Monitor stanu oznaczy węzeł jako zły, jeśli węzeł uległ awarii lub wszedł w stan złej kondycji.
- Zarządzanie sesją Zookeeper – ZKFC otwiera sesję w Zookeeperze, gdy lokalny nazwanode jest sprawny. Zawiera również specjalny węzeł „blokady”, jeśli lokalny węzeł nazwy jest aktywny. Jeśli sesja wygaśnie, blokada zostanie automatycznie usunięta.
- Wybory oparte na zookeeper – W HDFS, jeśli lokalny namenode jest sprawny, a ZKFC widzi, że żaden inny węzeł aktualnie nie posiada węzła blokady, sam spróbuje uzyskać blokadę. A jeśli się powiedzie, oznacza to, że wygrał wybory” i obsługuje przełączanie awaryjne, aby uaktywnić swój lokalny nazwanode.
Wniosek
Dlatego automatyczne przełączanie awaryjne w Hadoop uruchamia się automatycznie w przypadku awarii NameNode. Automatyczne przełączanie awaryjne dodaje komponenty kworum ZooKeeper i ZKFailoverController Process (ZKFC) do wdrożenia HDFS.
Zookeeper w Hadoop to usługa, która zapewnia automatyczną możliwość przełączania awaryjnego w HDFS .
