Twoje użycie --packages argument jest błędny:
--packages com.mongodb.spark:hdfs:///user/liac/package/jars/mongo-spark-connector_2.11-1.0.0-assembly.jar:1.0.0
Musi mieć postać groupId:artifactId:version jak sugeruje wynik. Nie możesz użyć z nim adresu URL.
Przykład używania mongoDB z iskrą z wbudowaną obsługą repozytorium:
$SPARK_HOME/bin/spark-shell --packages org.mongodb.spark:mongo-spark-connector_2.11:1.0.0
Jeśli nalegasz na używanie własnego jara, możesz go dostarczyć przez --repositories . Wartość argumentu to
Na przykład w twoim przypadku może to być
--repositories hdfs:///user/liac/package/jars/ --packages org.mongodb.spark:mongo-spark-connector_2.11:1.0.0
