PostgreSQL
 sql >> Baza danych >  >> RDS >> PostgreSQL

Dostrajanie wydajności Postgresql i wykorzystania pamięci w przepływie pracy w Pythonie

Moje obejście jest pokrojenie putback z prostą funkcją proponowaną tutaj :

def chunk(l, n):
    n = max(1, n)
    return [l[i:i + n] for i in range(0, len(l), n)]

a potem

for chunk in chunk(putback, 250000):
    curs.execute("UPDATE table1
                  SET col3 = p.result
                  FROM unnest(%s) p(sid INT, result JSONB)
                  WHERE sid = p.sid", (chunk,))

To działa, tj. utrzymuje zużycie pamięci w ryzach, ale nie jest zbyt eleganckie i wolniejsze niż zrzucanie wszystkich danych naraz, jak to zwykle robię.




  1. Database
  2.   
  3. Mysql
  4.   
  5. Oracle
  6.   
  7. Sqlserver
  8.   
  9. PostgreSQL
  10.   
  11. Access
  12.   
  13. SQLite
  14.   
  15. MariaDB
  1. Wyjątek Postgres :zapytanie nie zwróciło żadnych wyników.

  2. Jak sprawić, by instalacja gem działała na OS X Lion z Ruby 1.8.7 bez błędów seg?

  3. Grupuj według i dodaj kolumny

  4. PostgreSQL:count() czy zachować licznik?

  5. Jak wybrać zakres dat w postgresie?