MongoDB
 sql >> Baza danych >  >> NoSQL >> MongoDB

Wyjątek podczas łączenia się z mongodb in spark

Myślę, że znalazłem problem:mongodb-hadoop ma "static" modyfikator na swoich instancjach kodera/dekodera BSON w core/src/main/java/com/mongodb/hadoop/input/MongoInputSplit.java. Gdy Spark działa w trybie wielowątkowym, wszystkie wątki próbują deserializować przy użyciu tego samego instancje kodera/dekodera, które prawdopodobnie mają złe wyniki.

Łatka na moim githubie tutaj (przesłał żądanie ściągnięcia w górę)

Jestem teraz w stanie uruchomić 8-rdzeniową wielowątkową platformę Spark->mongo collection count() z Pythona!



  1. Redis
  2.   
  3. MongoDB
  4.   
  5. Memcached
  6.   
  7. HBase
  8.   
  9. CouchDB
  1. Jak zdefiniować zakres shardingu dla każdego sharda w Mongo?

  2. Średnia agregacja ze znacznikiem czasu ciągu

  3. Jak mongoeksportować z jednym polem

  4. Jak sprawdzić, czy wybrany adres e-mail i nazwa już istnieją w MongoDB?

  5. Jak znaleźć rozmiar konkretnego dokumentu w kolekcji MonogoDB?