Nie wiem, dlaczego nagle działa wolniej, ale zalecam konwersję na sprzężenie, które powinno działać lepiej:
SELECT t.*
FROM temp_company t
LEFT JOIN company c ON c.number = t.number
WHERE c.number is null
Jest to dość standardowy sposób radzenia sobie z not in (...)
za pośrednictwem złączenia i działa, ponieważ złączenia zewnętrzne nie dopasowanie ma wartości null w połączonych kolumnach tabeli.