MongoDB
 sql >> Baza danych >  >> NoSQL >> MongoDB

Jak naprawić zbyt wiele błędów otwartych plików podczas agregacji miliardów rekordów?

Nie ma na to jasnej odpowiedzi, ponieważ robisz coś bardzo ciężkiego, ale dostępne jest obejście tego problemu

ulimit to polecenie w systemie unix/linux, które pozwala ustawić limity systemowe dla wszystkich właściwości.

w twoim przypadku musisz zwiększyć max. nie. otwartych plików liczy się lub jest nieograniczona po bezpieczniejszej stronie (jest to również zalecane przez MongoDB)

ulimit -n <large value in your case 1000000>

or 

sysctl -w fs.file-max=1000000

and

/etc/security/limits.conf or /etc/sysctl.conf:
change 

fs.file-max = 1000000


  1. Redis
  2.   
  3. MongoDB
  4.   
  5. Memcached
  6.   
  7. HBase
  8.   
  9. CouchDB
  1. Pobierz wszystkie możliwe kombinacje z tablicy w agregacji MongoDB 🚀

  2. Wykonanie zapytania nie powiodło się podczas uruchamiania polecenia Mongo przez skrypt bash

  3. mongodb 4x wolniej niż sqlite, 2x wolniej niż csv?

  4. MongoDB używa COLLSCAN, gdy zwraca tylko _id

  5. Porównaj osadzony dokument z polem nadrzędnym z mongoDB