Mysql
 sql >> Baza danych >  >> RDS >> Mysql

Sposób na odczyt danych tabeli z Mysql do Pig

Jak mówisz, DBStorage obsługuje tylko zapisywanie wyników w bazie danych.

Aby załadować dane z MySQL, możesz zajrzeć do projektu o nazwie sqoop (która kopiuje dane z bazy danych do HDFS) lub możesz wykonać zrzut mysql, a następnie skopiować plik do HDFS. Oba sposoby wymagały pewnej interakcji i nie mogą być używane bezpośrednio z wnętrza Pig.

Trzecią opcją byłoby przyjrzenie się napisaniu Pig LoadFunc (mówisz, że próbowałeś napisać UDF). Nie powinno to być zbyt trudne, będziesz musiał przekazać te same opcje, co DBStorage (sterownik, poświadczenia połączenia i zapytanie SQL do wykonania), a prawdopodobnie możesz również użyć inspekcji metadanych zestawu wyników, aby automatycznie wygenerować schemat.




  1. Database
  2.   
  3. Mysql
  4.   
  5. Oracle
  6.   
  7. Sqlserver
  8.   
  9. PostgreSQL
  10.   
  11. Access
  12.   
  13. SQLite
  14.   
  15. MariaDB
  1. mysqldump eksportuje tylko jedną tabelę

  2. jaka jest różnica między GROUP BY i ORDER BY w sql

  3. Jak uciec ze znaków specjalnych mysql za pomocą sockets.io/node.js/javascript

  4. Kiedy wybrać Oracle zamiast MySQL?

  5. potrzebujesz pomocy w optymalizacji wordpress meta_query