Indeks klastrowy zmienia sposób przechowywania wierszy. Podczas tworzenia indeksu klastrowego na kolumnie (lub kilku kolumnach), serwer SQL sortuje wiersze tabeli według tych kolumn. Jest jak słownik, w którym wszystkie słowa są w całej książce posortowane alfabetycznie.
Z drugiej strony indeks nieklastrowy nie zmienia sposobu przechowywania wierszy w tabeli. Tworzy zupełnie inny obiekt w tabeli, który zawiera kolumny wybrane do indeksowania i wskaźnik do wierszy tabeli zawierających dane. To jest jak indeks na ostatnich stronach książki, gdzie słowa kluczowe są sortowane i zawierają numer strony do materiału książki w celu szybszego odniesienia.