Korzystanie z ROW_NUMBER w CTE umożliwia usuwanie zduplikowanych wartości przy zachowaniu unikalnych wierszy.
WITH q AS (
SELECT RN = ROW_NUMBER() OVER (PARTITION BY ID ORDER BY ID )
, ID
, Name
FROM ATable
)
DELETE FROM q WHERE RN > 1