MongoDB — Błąd:polecenie getMore nie powiodło się:nie znaleziono kursora

Po ustawieniu noCursorTimeout opcja, musisz albo zamknąć kursor ręcznie za pomocą cursor.close() lub przez wyczerpanie wyników kursora.

Ponieważ chcesz przetworzyć wszystkie dokumenty w kursorze, nie musisz zamykać go ręcznie, ale nadal możliwe jest, że coś pójdzie nie tak w twoim kodzie i zostanie zgłoszony błąd, zanim skończysz, pozostawiając otwarty kursor .

Jeśli nadal chcesz korzystać z tego podejścia, użyj try-catch aby upewnić się, że zamkniesz kursor, jeśli coś pójdzie nie tak, zanim zużyjesz wszystkie jego dokumenty.

Uwaga Nie uważam tego za złe rozwiązanie (stąd 👍), ponieważ nawet uważam to za złą praktykę...:

• Jest to funkcja obsługiwana przez sterownik. Jeśli było tak źle, ponieważ istnieją alternatywne sposoby obejścia problemów z limitem czasu, jak wyjaśniono w innych rozwiązaniach, nie będzie to obsługiwane.

• Istnieją sposoby na bezpieczne korzystanie z niego, wystarczy zachować szczególną ostrożność.

• Zakładam, że nie uruchamiasz tego rodzaju zapytań regularnie, więc szanse, że zaczniesz zostawiać otwarte kursory wszędzie, są niskie. Jeśli tak nie jest, a naprawdę musisz cały czas radzić sobie z takimi sytuacjami, nie ma sensu używać noCursorTimeout .

3. 👍 Spróbuj ponownie, gdy kursor wygaśnie

Zasadniczo umieszczasz swój kod w try-catch a kiedy pojawi się błąd, pojawi się nowy kursor, pomijając dokumenty, które już przetworzyłeś:

let processed = 0;
let updated = 0;

while(true) {
    const cursor = db.snapshots.find().sort({ _id: 1 }).skip(processed);

    try {
        while (cursor.hasNext()) {
            const doc = cursor.next();

            ++processed;

            if (doc.stream && doc.roundedDate && !doc.sid) {
                db.snapshots.update({
                    _id: doc._id
                }, { $set: {
                    sid: `${ doc.stream.valueOf() }-${ doc.roundedDate }`
                }});

                ++updated;
            } 
        }

        break; // Done processing all, exit outer loop
    } catch (err) {
        if (err.code !== 43) {
            // Something else than a timeout went wrong. Abort loop.

            throw err;
        }
    }
}

Pamiętaj, że aby to rozwiązanie zadziałało, musisz posortować wyniki.

Dzięki takiemu podejściu minimalizujesz liczbę żądań do serwera, używając maksymalnego możliwego rozmiaru partii 16 MB, bez konieczności zgadywania, ile dokumentów będziesz w stanie przetworzyć w ciągu 10 minut wcześniej. Dlatego jest również bardziej niezawodny niż poprzednie podejście.

4. 👎 Ręczne sprawdzanie wyników w partiach

Zasadniczo używasz skip(), limit() i sort() do wykonywania wielu zapytań z wieloma dokumentami, które Twoim zdaniem można przetworzyć w ciągu 10 minut.

Uważam to za złe rozwiązanie, ponieważ kierowca ma już możliwość ustawienia wielkości partii, więc nie ma powodu, aby robić to ręcznie, po prostu użyj rozwiązania 1 i nie wymyślaj koła od nowa.

Warto również wspomnieć, że ma te same wady co rozwiązanie 1,

5. 👎 Pobierz wszystkie dokumenty, zanim kursor wygaśnie

Prawdopodobnie wykonanie Twojego kodu zajmuje trochę czasu z powodu przetwarzania wyników, więc możesz najpierw pobrać wszystkie dokumenty, a następnie je przetworzyć:

const results = new Array(db.snapshots.find());

Spowoduje to pobranie wszystkich partii jedna po drugiej i zamknięcie kursora. Następnie możesz przeglądać wszystkie dokumenty w results i rób to, co musisz.

Jeśli jednak masz problemy z przekroczeniem limitu czasu, istnieje prawdopodobieństwo, że Twój zestaw wyników jest dość duży, dlatego wyciągnięcie wszystkiego z pamięci może nie być najbardziej wskazane.

Uwaga na temat trybu migawki i duplikatów dokumentów

Może się zdarzyć, że niektóre dokumenty zostaną zwrócone wielokrotnie, jeśli interweniujące operacje zapisu przeniosą je z powodu wzrostu rozmiaru dokumentu. Aby rozwiązać ten problem, użyj cursor.snapshot() . Z dokumentów: