Miałem dokładnie taki problem z mysql/mariadb i otrzymałem DUŻĄ wskazówkę z tego pytania
Więc twoje polecenie pyspark powinno wyglądać tak:
pyspark --conf spark.executor.extraClassPath=<jdbc.jar> --driver-class-path <jdbc.jar> --jars <jdbc.jar> --master <master-URL>
Uważaj również na błędy, gdy pyspark zaczyna się, np. „Ostrzeżenie:lokalny słoik ... nie istnieje, pomijam”. i „BŁĄD SparkContext:Jar not found at ...”, prawdopodobnie oznacza to, że źle wpisałeś ścieżkę.
