MongoDB
 sql >> Baza danych >  >> NoSQL >> MongoDB

Importowanie bardzo dużego zestawu rekordów do MongoDB za pomocą nodejs

Nie jest to odpowiedź na dokładną sytuację importowania z pliku .csv, ale zamiast tego, robienie wstawek zbiorczych

-> Przede wszystkim nie ma żadnych specjalnych operacji wstawiania zbiorczego, w końcu jest to forEach.

-> jeśli próbujesz odczytać duży plik asynchronicznie, co byłoby znacznie szybsze niż proces pisania, powinieneś rozważyć zmianę podejścia, przede wszystkim dowiedzieć się, ile może obsłużyć twoja konfiguracja (lub po prostu nacisnąć n -test).

---> Następnie zmień sposób, w jaki czytasz z pliku, nie musisz czytać każdej linii z pliku, asynchronicznie, naucz się czekać, użyj forEach, forEachSeries z Async.js, aby obniżyć odczyty w pobliżu zapisu mongodb poziom i możesz iść.



  1. Redis
  2.   
  3. MongoDB
  4.   
  5. Memcached
  6.   
  7. HBase
  8.   
  9. CouchDB
  1. $project:Czy można uzyskać dostęp do właściwości wyniku wyrażenia tylko w jednym etapie?

  2. Express Mongoose Model.find() zwraca undefined

  3. MongoDB:wybór warunkowy z jednej kolekcji na podstawie innej kolekcji

  4. db.createCollection nie jest funkcją

  5. MongoDB, Java, sortuj według pierwszego wpisu w tablicy