Mysql
 sql >> Baza danych >  >> RDS >> Mysql

Pobieranie danych z MySQL w partiach za pomocą Pythona

Pierwszy punkt:python db-api.cursor jest iteratorem, więc chyba że naprawdę potrzebujesz aby załadować cały pakiet do pamięci na raz, możesz po prostu zacząć od korzystania z tej funkcji, tj. zamiast:

cursor.execute("SELECT * FROM mytable")
rows = cursor.fetchall()
for row in rows:
   do_something_with(row)

możesz po prostu:

cursor.execute("SELECT * FROM mytable")
for row in cursor:
   do_something_with(row)

Następnie, jeśli implementacja twojego konektora db nadal nie korzysta z tej funkcji we właściwy sposób, nadszedł czas, aby dodać do tego LIMIT i OFFSET:

# py2 / py3 compat
try:
    # xrange is defined in py2 only
    xrange
except NameError:
    # py3 range is actually p2 xrange
    xrange = range

cursor.execute("SELECT count(*) FROM mytable")
count = cursor.fetchone()[0]
batch_size = 42 # whatever

for offset in xrange(0, count, batch_size):
    cursor.execute(
        "SELECT * FROM mytable LIMIT %s OFFSET %s", 
        (batch_size, offset))
   for row in cursor:
       do_something_with(row)


  1. Database
  2.   
  3. Mysql
  4.   
  5. Oracle
  6.   
  7. Sqlserver
  8.   
  9. PostgreSQL
  10.   
  11. Access
  12.   
  13. SQLite
  14.   
  15. MariaDB
  1. Jak efektywnie korzystać z MySQLDB SScursor?

  2. ADDTIME() zwraca 24 godzinny czas

  3. Jak zdefiniować niestandardowe zamówienie ORDER BY w mySQL?

  4. Problem z połączeniem Ruby on rails

  5. Wybierz ostatni rekord z prawej tabeli podczas korzystania z join w mysql