Chociaż nie ma nic, co mogłoby powstrzymać zdeterminowaną osobę przed skrobaniem publicznie dostępnych treści, możesz zrobić kilka podstawowych rzeczy, aby złagodzić obawy klienta:
-
Limit szybkości według konta użytkownika, adresu IP, agenta użytkownika itp. - oznacza to, że ograniczasz ilość danych, które dana grupa użytkowników może pobrać w określonym czasie. Jeśli wykryjesz dużą ilość przesyłanych danych, zamykasz konto lub adres IP.
-
Wymagaj JavaScript - aby upewnić się, że klient przypomina interaktywną przeglądarkę, a nie szkieletowy pająk...
-
RIA - udostępnij swoje dane poprzez interfejs Rich Internet Application. Siatki oparte na JavaScript obejmują ExtJs, YUI, Dojo itp. Bogatsze środowiska obejmują Flash i Silverlight jako 1wzmianki o kevgriff .
-
Koduj dane jako obrazy. Jest to dość uciążliwe dla zwykłych użytkowników, ale możesz zakodować niektóre tabele danych lub wartości jako obrazy zamiast tekstu, co pokona większość parserów tekstu, ale oczywiście nie jest to niezawodne.
-
robots.txt — aby odrzucić oczywiste pająki internetowe, znane agenty użytkownika robotów.
Klient użytkownika:*
Nie zezwalaj:/
-
Używaj metatagów robota. To powstrzyma pająki. Uniemożliwi to Google indeksowanie Cię na przykład:
Istnieją różne poziomy odstraszania, a pierwsza opcja jest prawdopodobnie najmniej inwazyjna.
