Pytanie dotyczy tego, jak znormalizować dane, gdy spodziewasz się duplikatów. A potem unikaj „spalania” identyfikatorów.
http://mysql.rjweb.org/doc.php/staging_table#normalization omawia dwuetapowy proces i ma na celu masowe aktualizacje ze względu na szybkie przyjmowanie wierszy. Degeneruje się do jednego rzędu, ale nadal wymaga 2 kroków.
Krok 1 INSERTs
dowolne nowe wierszy, tworząc nowe identyfikatory auto_inc.
Krok 2 cofa ids en masse.
Zauważ, że pracę najlepiej wykonywać przy autocommit=ON i poza główną transakcją, która ładuje dane. Pozwala to uniknąć dodatkowej przyczyny spalania identyfikatorów, a mianowicie potencjalnych cofnięć.