Wystąpił problem podczas konfigurowania MySql z przepływem powietrza Apache w Hadoop

Wykonaj poniższe czynności, aby zainstalować Apache Airflow z MySQL za pomocą Anaconda3

1) Zainstaluj wymagania wstępne

yum install gcc gcc-c++ -y
yum install libffi-devel mariadb-devel cyrus-sasl-devel -y
dnf install redhat-rpm-config

2) Zainstaluj Anaconda3 (dostarczany z Pythonem 3.7.6)

yum install libXcomposite libXcursor libXi libXtst libXrandr alsa-lib mesa-libEGL libXdamage mesa-libGL libXScrnSaver
wget https://repo.anaconda.com/archive/Anaconda3-2020.02-Linux-x86_64.sh
chmod +x Anaconda3-2020.02-Linux-x86_64.sh 
./Anaconda3-2020.02-Linux-x86_64.sh

Upewnij się, że wykonałeś conda initialize po wyświetleniu monitu podczas instalacji. Dzięki temu w kolejnych krokach zostanie użyta poprawna wersja Pythona i pip.

3) Zainstaluj Apache Airflow

pip install apache-airflow[mysql,celery]

W razie potrzeby możesz dodać inne podpakiety. Uwzględniłem tylko te, które są wymagane, aby Airflow używał bazy danych MySQL jako zaplecza.

4) Zainicjuj przepływ powietrza

export AIRFLOW_HOME=~/airflow
airflow initdb

Od tego momentu naśladowałem kroki, które wykonałeś, aby skonfigurować serwer MySQL

5) Zainstaluj serwer MySQL

rpm -Uvh https://repo.mysql.com/mysql80-community-release-el7-3.noarch.rpm 
sed -i 's/enabled=1/enabled=0/' /etc/yum.repos.d/mysql-community.repo 
yum --enablerepo=mysql80-community install mysql-server 
systemctl start mysqld.service

6) Zaloguj się do MySQL i skonfiguruj bazę danych dla Airflow

mysql> CREATE DATABASE airflow CHARACTER SET utf8 COLLATE utf8_unicode_ci; 
mysql> CREATE user 'airflow'@'localhost' identified by 'Airflow123'; 
mysql> GRANT ALL privileges on *.* to 'airflow'@'localhost'; 

7) Zaktualizuj plik konfiguracyjny Airflow (~/airflow/airflow.cfg)

sql_alchemy_conn = mysql://airflow:[email protected]:3306/airflow
executor = CeleryExecutor

8) Zainicjuj przepływ powietrza

airflow initdb