MongoDB
 sql >> Baza danych >  >> NoSQL >> MongoDB

Can kafka connect - źródło mongo działa jako klaster (max.tasks> 1)

Mongo-source nie obsługuje tasks.max> 1. Nawet jeśli ustawisz wartość większą niż 1, tylko jeden zadaniem będzie ściąganie danych z mongo do Kafki.

Liczba utworzonych zadań zależy od konkretnego łącznika. Funkcja List<Map<String, String>> Connector::taskConfigs(int maxTasks) , (która powinna zostać nadpisana podczas implementacji twojego konektora) zwraca listę, której rozmiar określa liczbę zadań.Jeżeli sprawdzisz konektor źródłowy mongo-kafka, zobaczysz, że jest to singletonList.

https://github.com/mongodb/mongo-kafka/blob/master/src/main/java/com/mongodb/kafka/connect/MongoSourceConnector.java#L47




  1. Redis
  2.   
  3. MongoDB
  4.   
  5. Memcached
  6.   
  7. HBase
  8.   
  9. CouchDB
  1. MEAN-Stack zapisz tablicę w MongoDB za pomocą mongoose

  2. Aktualizacja zmiany licencji MongoDB SSPL

  3. Różnica między MongoFactoryBean a SimpleMongoDbFactory

  4. Operacja aktualizacji Mongodb wewnątrz tablicy podrzędnej

  5. Mongodb NoRM i POCO