Pracownik python-rq zamyka się automatycznie

Dobra, rozwiązałem problem. Było to spowodowane przekroczeniem limitu czasu pracownika.

try:
  --my code goes here--
except Exception, ex:
  self.error += 1
  with open("error.txt", "a") as myfile:
     myfile.write('\n%s' % sys.exc_info()[0] + "{}".format(self.url))
  pass

Tak więc zgodnie z moim kodem następna domena jest usuwana z kolejki, jeśli z każdej domeny zostanie pobranych 200 adresów URL. Jednak w przypadku niektórych domen liczba adresów URL była niewystarczająca, aby warunek mógł zostać zakończony (np. tylko 1 lub 2 adresy).

Ponieważ kod przechwytuje wszystkie wyjątki i dołącza do pliku error.txt plik. Nawet wyjątek limitu czasu rq rq.timeouts.JobTimeoutException został złapany i dołączony do akt. W ten sposób pracownik czeka na x czas, który prowadzi do wypowiedzenia pracownika.