jaki jest lepszy sposób indeksowania danych z tabel Oracle/relacyjnych do elastycznego wyszukiwania?

Używamy ES jako bazy danych raportowania, a gdy nowe rekordy są zapisywane do SQL, podejmujemy następujące działania, aby przenieść je do ES:

1. Zapisz klucz podstawowy do kolejki (używamy rabbitMQ)
2. Królik pobiera klucz główny (kiedy ma czas) i wysyła zapytanie do bazy danych relacji, aby uzyskać potrzebne informacje, a następnie zapisuje dane do ES

Ten proces działa świetnie, ponieważ obsługuje zarówno nowe, jak i stare dane. W przypadku starych danych po prostu napisz szybki skrypt, który zapisze 300M kluczy podstawowych w króliku i gotowe!