Hadoop RecordReader Wstęp, Working &Rodzaje

W poprzednim blogu, badaliśmy Hadoop Liczniki szczegółowo. Teraz w tym tutorialu, będziemy omawiać RecordReader w Hadoop.

Tutaj będziemy obejmować wprowadzenie do Hadoop RecordReader, pracując z RecordReader. Będziemy także dyskutować rodzaje RecordReader w MapReduce, rozmiar pojedynczego rekordu w Hadoop MapReduce MapReduce w tym samouczku.

Czym jest RecordReader w MapReduce?

RecordReader konwertuje pogląd bajt zorientowanych na wejściu do widoku rekordu zorientowanych na Mapper i Reduktor zadania przetwarzania.

Aby zrozumieć Hadoop RecordReader, musimy zrozumieć MapReduce przepływu danych. Nauczmy się jak przepływ danych:

MapReduce to prosty model przetwarzania danych. Wejścia i wyjścia na mapie i zmniejszyć funkcje są pary klucz-wartość . Poniżej znajduje się ogólna forma mapie i zmniejszyć funkcje:

• Mapa (K1, V1) → lista (K2, V2)
• Zmniejsz: (K2, lista (V2)) → lista (K3, V3)

Teraz przed rozpoczęciem przetwarzania, to musi wiedzieć, na jakie dane procesu. Tak, InputFormat klasa pomaga to osiągnąć. Ta klasa wybiera plik z HDFS że jest wejście do funkcji mapy. Jest również odpowiedzialny za tworzenie podziałów wejściowych.

Ponadto, podzielić je na rekordy. Dzieli dane do liczby podziałów (zwykle 64 / 128mb) w HDFS. Jest to znane jako InputSplit. InputSplit jest logiczną reprezentacją danych. W pracy MapReduce, numer wykonanie zadań map jest równa liczbie InputSplits.

Wywołując 'getSplit () klient oblicza szpagat do pracy. Potem wysłał do pana aplikacji. Używa ich lokalizacje do przechowywania map harmonogram zadań, które przetwarzają je na klastrze.

Po tym zadaniem mapa przechodzi split do createRecordReader () metoda. Z tym, że uzyskuje RecordReader do rozłamu. RecordReader generuje rekord (parę klucz-wartość). Następnie przechodzi do funkcji mapy.

Hadoop RecordReader w MapReduce wykonywania pracy wykorzystuje dane w granicach, które są tworzone przez inputsplit. A następnie tworzy par klucz-wartość dla elementu odwzorowującego. „Start” jest pozycja bajt w pliku.

Na początku, Hadoop RecordReader zaczyna par klucz / wartość wytwórczych. „Koniec” to gdzie RecorReader zatrzymuje czytanie rekordy. W RecordReader dane są odczytywane z jego źródła.

Następnie dane są przetwarzane w pary klucza wartości odpowiednich do odczytywania za pomocą mapowania. Komunikuje się z inputsplit aż odczyt pliku nie jest zakończona.

Jak RecorReader pracuje w Hadoop?

Jest to więcej niż iteracyjnej nad ewidencji. Zadaniem mapa wykorzystuje jeden rekord do generowania pary klucz-wartość, które są przekazywane do funkcji mapy. Możemy także zobaczyć przy użyciu funkcji Uruchom Mapper jest podana poniżej:

public void run(Context context ) throws IOException, InterruptedException{
setup(context);
while(context.nextKeyValue())
{
map(context.setCurrentKey(),context.getCurrentValue(),context)
}
cleanup(context);
}

Chociaż nie jest to obowiązkowe dla RecordReader pobytów w granicach między utworzonymi przez inputsplit do generowania par klucz-wartość to zwykle pobyty. Ponadto, realizacja niestandardowych można nawet przeczytać więcej danych zewnątrz inputsplit.

Następnie, po uruchomieniu setup () , nextKeyValue () powtórzy kontekstu. Ten zapełnia klucz i wartość przedmiotów dla odwzorowującego. W drodze kontekście ram pobiera klucz-wartość z rekordu czytelnika. Następnie przechodzimy do sekcji Mapa () Sposób zrobić swoją pracę.

conf.setInt("mapred.linerecordreader.maxlength", Integer.MAX_VALUE);