Sqoop na Dataproc nie może eksportować danych do formatu Avro

Problem może występować w różnych wersjach Avro w Hadoop firmy Dataproc (Avro 1.7.7) i Sqoop 1.4.7 (Avro 1.8.1).

Możesz spróbować obniżyć Sqoop do wersji 1.4.6, która zależy od Avro 1.7 i użyć avro-tools-1.7.7.jar podczas składania oferty pracy.

Edytowane:

Aby rozwiązać problem z ładowaniem klas, musisz ustawić mapreduce.job.classloader=true podczas przesyłania zadania Dataproc:

gcloud dataproc jobs submit hadoop --cluster=<CLUSTER_NAME> \
    --class=org.apache.sqoop.Sqoop \
    --jars=gs://<BUCKET>/sqoop-1.4.7-hadoop260.jar \
    --properties=mapreduce.job.classloader=true \
    -- \
    . . .