Usuń duplikaty z dużego zestawu danych (>100 mln wierszy)

Jeśli korzystasz z SQL Server, możesz użyć usuwania ze wspólnego wyrażenia tabelowego:

with cte as (
    select row_number() over(partition by SICComb, NameComb order by Col1) as row_num
    from Table1
)
delete
from cte
where row_num > 1

Tutaj wszystkie wiersze będą ponumerowane, otrzymasz własną sekwencję dla każdej unikalnej kombinacji SICComb + NameComb . Możesz wybrać, które wiersze chcesz usunąć, wybierając order by wewnątrz over klauzula.