Oracle
 sql >> Baza danych >  >> RDS >> Oracle

Jak przyspieszyć ładowanie danych z Oracle sql do pandas df

Ustawienie właściwej wartości dla cur.arraysize może pomóc w dostrojeniu wydajności pobierania .Musisz określić najbardziej odpowiednią dla niego wartość. Wartość domyślna to 100 . Kod z różnymi rozmiarami tablicy może zostać uruchomiony w celu określenia tej wartości, na przykład

arr=[100,1000,10000,100000,1000000]
for size in arr:
        try:
            cur.prefetchrows = 0
            cur.arraysize = size
            start = datetime.now()
            cur.execute("SELECT * FROM mytable").fetchall()
            elapsed = datetime.now() - start
            print("Process duration for arraysize ", size," is ", elapsed, " seconds")
        except Exception as err:
            print("Memory Error ", err," for arraysize ", size) 

a następnie ustaw na przykład cur.arraysize =10000 przed wywołaniem db_select z oryginalnego kodu




  1. Database
  2.   
  3. Mysql
  4.   
  5. Oracle
  6.   
  7. Sqlserver
  8.   
  9. PostgreSQL
  10.   
  11. Access
  12.   
  13. SQLite
  14.   
  15. MariaDB
  1. Przetwarzasz ciąg rozdzielany potokami na kolumny?

  2. Podróż przez GIMR

  3. Parametr limitu czasu IDLE w Oracle

  4. jak wybrać tylko wiersz z sekwencją max bez użycia podzapytania?

  5. PRZYPADEK vs. DEKODOWANIE