Przeczytaj serię postów z Wepay, w których szczegółowo opisują, w jaki sposób synchronizują swoje bazy danych MySQL z BigQuery za pomocą Airflow:
- https://wecode.wepay.com/posts/ wepays-data-warehouse-bigquery-airflow
- https://wecode.wepay.com/posts/airflow-wepay
- (3. dotyczy BigQuery)
Jako podsumowanie (cytat):
- Uwierzytelnianie konfiguracji, połączenia, DAG.
- Zdefiniuj, które kolumny pobrać z MySQL i załadować do BigQuery.
- Wybierz sposób ładowania danych:przyrostowo lub całkowicie.
- Deduplikacja.
