PostgreSQL
 sql >> Baza danych >  >> RDS >> PostgreSQL

Utwórz tabelę sql z ramki danych dask za pomocą map_partitions i pd.df.to_sql

Po prostu utworzyłeś ramkę danych, która jest zaleceniem pracy do wykonania, ale jej nie wykonałeś. Aby wykonać, musisz wywołać .compute() na wynik.

Zauważ, że wynik tutaj nie jest tak naprawdę ramką danych, każda partycja ma wartość None (ponieważ to_sql nie ma wyjścia), więc może być czystsze wyrażenie tego za pomocą df.to_delayed , coś w stylu

dto_sql = dask.delayed(pd.DataFrame.to_sql)
out = [dto_sql(d, 'table_name', db_url, if_exists='append', index=True)
       for d in ddf.to_delayed()]
dask.compute(*out)

Pamiętaj też, że to, czy uzyskasz dobry paralelizm, będzie zależeć od sterownika bazy danych i samego systemu danych.



  1. Database
  2.   
  3. Mysql
  4.   
  5. Oracle
  6.   
  7. Sqlserver
  8.   
  9. PostgreSQL
  10.   
  11. Access
  12.   
  13. SQLite
  14.   
  15. MariaDB
  1. Zastępowanie sekwencji liczbą losową

  2. PostgreSQL Query WHERE data jest starsza niż 3 lata

  3. psql ustaw domyślny statement_timeout jako użytkownik w postgresie

  4. Uwierzytelnianie bazy danych CAS nie działa

  5. Python psycopg2 copy_from() do ładowania danych wyrzuca błąd dla pustych wartości całkowitych:DataError:nieprawidłowa składnia wejściowa dla liczby całkowitej: