Jak załadować 100 milionów rekordów do MongoDB za pomocą Scali w celu przetestowania wydajności?

Kilka wskazówek :

1. Nie indeksuj swojej kolekcji przed wstawieniem , ponieważ wstawki modyfikują indeks, który jest narzutem. Wstaw wszystko, a następnie utwórz indeks.

2. zamiast „zapisz” , użyj mongoDB „batchinsert” który może wstawić wiele rekordów w jednej operacji. Wstawiaj więc około 5000 dokumentów na partię. Zobaczysz niezwykły wzrost wydajności.

   zobacz metodę nr 2 wstawiania tutaj, wstawia się tablicę dokumentów zamiast pojedynczego dokumentu. Zobacz także dyskusję w tym wątku

   A jeśli chcesz więcej porównywać -

3. To tylko przypuszczenie, spróbuj użyć ograniczonej kolekcji o wstępnie zdefiniowanym dużym rozmiarze do przechowywania wszystkich Twoich danych. Kolekcja ograniczona bez indeksu ma bardzo dobrą wydajność wstawiania.