Mysql
 sql >> Baza danych >  >> RDS >> Mysql

Przyspiesz wstawianie dużych zbiorów danych z pliku txt do mySQL za pomocą Pythona

Dwie opcje do rozważenia:

1) najłatwiej jest umieścić wiele wierszy wartości na jednej wstawce. Jest to o wiele szybsze niż robienie wielu wstawek.

Wstawka wykonania INSERT INTO tbl ( cols ) VALUES ( vals ) , zrób coś takiego jak INSERT INTO tbl ( cols ) VALUES ( vals ), ( vals ), ( vals )

Ilość wierszy, które możesz wstawić za jednym razem, zależy od maksymalnego rozmiaru pakietu serwera mysql, ale prawdopodobnie możesz bezpiecznie wykonać 100, 1000, może 10000 wierszy i powinno to zapewnić wzrost wydajności o rząd wielkości lub więcej.

Zobacz http://dev.mysql.com/doc/ refman/5.5/en/insert-speed.html

2) WCZYTAJ PLIK DANYCH jest nieco inny, wymaga więcej pracy i ma swoje własne wymagania, ale jest bardzo szybki.



  1. Database
  2.   
  3. Mysql
  4.   
  5. Oracle
  6.   
  7. Sqlserver
  8.   
  9. PostgreSQL
  10.   
  11. Access
  12.   
  13. SQLite
  14.   
  15. MariaDB
  1. Pobieranie daty/godziny ostatniej zmiany w bazie danych MySQL

  2. Jak tworzyć i manipulować bazami danych SQL za pomocą Pythona

  3. Jakie są optymalne rozmiary varchar dla MySQL?

  4. Wyraźne a grupowe według

  5. Mysql pogrupuj według dwóch kolumn i wybierz maksymalną wartość z trzeciej kolumny