USUŃ wszystko, w którym ograniczenie klucza obcego MySQL nie zawodzi

Musisz LEFT JOIN tabeli odniesienia i dodaj warunek mówiący o braku wiersza w tej tabeli.

Na przykład:

DELETE a FROM a
LEFT JOIN b ON b.a_id = a.id
WHERE b.a_id IS NULL;