Jak usunąć zduplikowane elementy w MySQL z zestawem danych składającym się z 20 milionów wierszy?

Możesz spróbować tego:

ALTER IGNORE TABLE my_tablename ADD UNIQUE INDEX idx_name (text1 , text2);

czyli spróbuj dodać UNIQUE INDEX do swoich kolumn i alter stół

Ma to zaletę że w przyszłości również nie będzie zduplikowanych wierszy, które można wstawić do tabeli