Właśnie znalazłem sposób! To było prostsze niż myślałem! Bez pisania niestandardowych TestRunners itp.
Odpowiedź znajduje się w pytest-django docs w Rozdziale 5 -> Przykłady -> Użyj bazy danych tylko do odczytu.
Sprawdź inne przykłady, które są naprawdę przydatne w takich sytuacjach.
Dzięki!