Jak zaimportować duży plik XML (~10 GB) do PostgreSQL

1. Konwertuj plik XML na plik CSV. Ponadto podczas konwersji podziel go na części o wielkości 100 Mb-1 Gb, aby ułatwić grupowanie.

2. Utwórz tabelę z kolumnami zdefiniowanymi w pliku CSV.

3. Prześlij plik(i) do Postgresa za pomocą KOPIUJ command.To najszybszy sposób na przesłanie dużej ilości danych, jakie znam.BTW, można to zrobić również z Javy, z CopyManager klasa.

W zależności od rodzaju zapytań, które wykonasz, będziesz chciał tworzyć indeksy:

1. To będzie najbardziej czasochłonna część. Możesz jednak użyć UTWÓRZ INDEKS JEDNOCZEŚNIE . Umożliwi to pracę z tabelą, podczas gdy indeks jest tworzony w tle.

2. Jeśli powtórzysz proces importowania i masz już utworzoną tabelę i indeksy, usuń indeksy przed wydaniem polecenia COPY i utwórz je później. Zaoszczędzi Ci to dużo czasu.

3. Jeśli nadal nie jesteś zadowolony z szybkości zapytań lub szybkości tworzenia indeksów, może dobrym pomysłem będzie skorzystanie z Clickhouse zamiast. Jednak zależy to od rodzaju zapytań, które wykonujesz.