Rozwiązałem to sam.
Powinienem też wspomnieć, że próbuję połączyć się z innej maszyny do instancji MongoDB. Nie jest to dozwolone w przypadku ustawień wstępnych MongoDB.
Musiałem więc zmienić w pliku /etc/mongod.conf wartość za bindIp
od 127.0.0.1 do 0.0.0.0.