PostgreSQL
 sql >> Baza danych >  >> RDS >> PostgreSQL

Problemy z wydajnością wstawiania zbiorczego PostgreSQL/JooQ podczas ładowania z CSV; jak usprawnić proces?

Najszybszym sposobem zbiorczego wstawiania z pliku CSV do PostgreSQL jest użycie Kopiuj . Polecenie KOPIUJ jest zoptymalizowane do wstawiania dużej liczby wierszy.

W Javie możesz użyć Implementacji kopiowania dla sterownika PostgreSQL JDBC

Oto ładny mały przykład tego, jak z niego korzystać:jak skopiować dane z pliku do PostgreSQL za pomocą JDBC?

Jeśli masz plik CSV z nagłówkami, chcesz uruchomić polecenie podobne do tego:

\COPY mytable FROM '/tmp/mydata.csv' DELIMITER ';' CSV HEADER

Kolejnym zwiększeniem wydajności podczas dodawania dużych ilości danych do istniejącej tabeli jest usunięcie indeksów, wstawienie danych, a następnie odtworzenie indeksów.



  1. Database
  2.   
  3. Mysql
  4.   
  5. Oracle
  6.   
  7. Sqlserver
  8.   
  9. PostgreSQL
  10.   
  11. Access
  12.   
  13. SQLite
  14.   
  15. MariaDB
  1. Wyodrębnij miesiąc od pola daty

  2. Poprawna składnia tablicy typu złożonego

  3. Uzyskaj nazwę tabeli źródłowej wiersza podczas zapytania rodzica, z którego dziedziczy

  4. Czym dokładnie jest GRANT USAGE ON SCHEMA?

  5. Postgres Error:Więcej niż jeden wiersz zwrócony przez podzapytanie użyte jako wyrażenie