Jeśli używasz pakietu PyPi django-celery-beat wygląda na to, że instaluje najnowszą wersję wymaganego pakietu celery zamiast instalować kompatybilną wersję (do czasu, gdy to publikuję, 25 maja 2021 r. będzie to v5.1.0 ), co wydaje się mieć problemy ze zgodnością z django-celery-beat wersja 2.2.0 (najnowsza) oraz system operacyjny Windows.
Proponuję spróbować
pip uninstall celery
pip install celery==5.0.5