MongoDB
 sql >> Baza danych >  >> NoSQL >> MongoDB

Złącze Spark Mongo, MongoShardedPartitioner nie działa

Przykro nam słyszeć, że masz problem ze złączem.

Informacje dotyczące partycjonatorów można znaleźć w witrynie z dokumentacją złącza Spark . Prześlij zgłoszenie w Projekcie Dokumentów w jira jeśli czujesz, że czegoś brakuje lub czegoś nie jest jasne, może to naprawdę pomóc przyszłym użytkownikom!

Domyślny partycjoner to cienkie opakowanie wokół MongoSamplePartitioner . Dzieli kolekcję na partycje o rozmiarze na podstawie statystycznego próbkowania kolekcji.

MongoShardedPartitioner używa shardKey do generowania partycji. Domyślnie użyje _id jako klucz. Może być konieczne skonfigurowanie tej wartości.

Uwaga: Zaszyfrowane klucze shardkey nie obsługiwane przez MongoShardedPartitioner ponieważ obecnie nie ma możliwości zapytania kolekcji o wartość zahaszowaną - więc podczas pobierania partycji nie zwróci wyników. Dodałem DOCS-12345 aby zaktualizować dokumentację.

Wygląda na to, że w Twojej konfiguracji wystąpił problem polegający na tym, że MongoShardedPartitioner nie może podzielić kolekcji zgodnie z oczekiwaniami i zwraca 0 wyników. Wnioskowanie o schemacie będzie nadal działać ze względu na sposób, w jaki wysyła zapytania do kolekcji. Jeśli nie jest to problem z konfiguracją / haszowanym kluczem shardkey, zgłoś błąd w Projekcie Spark jira i pomogę zidentyfikować przyczynę i zwolnić poprawkę.




  1. Redis
  2.   
  3. MongoDB
  4.   
  5. Memcached
  6.   
  7. HBase
  8.   
  9. CouchDB
  1. Najlepszy sposób na przechowywanie/pobieranie wartości z listy w Mongo/RectiveMongo?

  2. Sterownik MongoDB C#, zapytanie za pomocą elementu tablicy przy użyciu wyrażenia regularnego

  3. Nieprawidłowy operator „$size” w agregacji

  4. Spring-boot:porównanie dat mongoDB nie działa

  5. Łącznik MongoDB dla PHP:zliczanie dokumentów do paginacji