Spark nie może znaleźć com.mongodb.spark.sql.DefaultSource
pakiet, stąd komunikat o błędzie.
Wszystko inne wygląda dobrze, wystarczy dołączyć pakiet Mongo Spark:
> $SPARK_HOME/bin/pyspark --packages org.mongodb.spark:mongo-spark-connector_2.11:2.2.0
Lub upewnij się, że plik jar znajduje się we właściwej ścieżce.
Upewnij się, że sprawdziłeś wersję pakietu Mongo-Spark wymaganą dla Twojej wersji Spark: https://spark-packages.org/package/mongodb/mongo-spark