Czy rozważałeś podejście takie jak:
for line in file
value = line[a:b]
cursor = collection.find({"field": value})
entries = cursor[:] # or pull them out with a loop or comprehension -- just get all the docs
# then process entries as a list, either singly or in batch
Ewentualnie coś takiego:
# same loop start
entries[value] = cursor[:]
# after the loop, all the cursors are out of scope and closed
for value in entries:
# process entries[value], either singly or in batch
Zasadniczo, tak długo, jak masz wystarczająco dużo pamięci RAM do przechowywania zestawów wyników, powinieneś być w stanie wyciągnąć je z kursorów i zatrzymać przed przetwarzaniem. Prawdopodobnie nie będzie to znacznie szybsze, ale złagodzi wszelkie spowolnienia, szczególnie kursorów, i uwolni Cię do równoległego przetwarzania danych, jeśli jesteś na to skonfigurowany.
