Skrobanie i indeksowanie stron internetowych za pomocą Scrapy i MongoDB

Przed rozpoczęciem jakiejkolwiek pracy związanej ze skrobaniem zapoznaj się z warunkami korzystania z witryny i przestrzegaj pliku robots.txt. Przestrzegaj również etycznych praktyk skrobania, nie zalewając witryny licznymi żądaniami w krótkim czasie. Traktuj każdą witrynę, którą zeskrobujesz, jak własną.

Jest to element współpracy między ludźmi z Real Python i György – entuzjastą Pythona i programistą, obecnie pracującym w firmie zajmującej się big data i jednocześnie poszukującym nowej pracy. Możesz zadawać mu pytania na Twitterze - @kissgyorgy.

Pierwsze kroki

Istnieją dwa możliwe sposoby kontynuowania od miejsca, w którym skończyliśmy.

Pierwszym z nich jest rozszerzenie naszego istniejącego Spidera poprzez wyodrębnienie każdego następnego linku do strony z odpowiedzi w parse_item metoda z wyrażeniem xpath i po prostu yield Request obiekt z wywołaniem zwrotnym do tego samego parse_item metoda. W ten sposób scrapy automatycznie wyśle ​​nowe żądanie do wskazanego przez nas linku. Więcej informacji na temat tej metody można znaleźć w dokumentacji Scrapy.

Inną, znacznie prostszą opcją jest wykorzystanie innego typu pająka — CrawlSpider (połączyć). Jest to rozszerzona wersja podstawowego Spider , zaprojektowany dokładnie dla naszego przypadku użycia.

CrawlSpider

Będziemy używać tego samego projektu Scrapy z ostatniego samouczka, więc pobierz kod z repozytorium, jeśli go potrzebujesz.

Utwórz płytę kotłową

W katalogu „stack” zacznij od wygenerowania szablonu pająka z crawl szablon:

$ scrapy genspider stack_crawler stackoverflow.com -t crawl
Created spider 'stack_crawler' using template 'crawl' in module:
  stack.spiders.stack_crawler

Projekt Scrapy powinien teraz wyglądać tak:

├── scrapy.cfg
└── stack
    ├── __init__.py
    ├── items.py
    ├── pipelines.py
    ├── settings.py
    └── spiders
        ├── __init__.py
        ├── stack_crawler.py
        └── stack_spider.py

Oraz stack_crawler.py plik powinien wyglądać tak:

# -*- coding: utf-8 -*-
import scrapy
from scrapy.contrib.linkextractors import LinkExtractor
from scrapy.contrib.spiders import CrawlSpider, Rule

from stack.items import StackItem


class StackCrawlerSpider(CrawlSpider):
    name = 'stack_crawler'
    allowed_domains = ['stackoverflow.com']
    start_urls = ['http://www.stackoverflow.com/']

    rules = (
        Rule(LinkExtractor(allow=r'Items/'), callback='parse_item', follow=True),
    )

    def parse_item(self, response):
        i = StackItem()
        #i['domain_id'] = response.xpath('//input[@id="sid"]/@value').extract()
        #i['name'] = response.xpath('//div[@id="name"]').extract()
        #i['description'] = response.xpath('//div[@id="description"]').extract()
        return i

Musimy tylko dokonać kilku aktualizacji tego schematu…

Zaktualizuj start_urls lista

Najpierw dodaj pierwszą stronę pytań do start_urls lista:

start_urls = [
    'http://stackoverflow.com/questions?pagesize=50&sort=newest'
]

Zaktualizuj rules lista

Następnie musimy powiedzieć pająkowi, gdzie może znaleźć linki do następnej strony, dodając wyrażenie regularne do rules atrybut:

rules = [
    Rule(LinkExtractor(allow=r'questions\?page=[0-9]&sort=newest'),
         callback='parse_item', follow=True)
]

Scrapy będzie teraz automatycznie żądać nowych stron na podstawie tych linków i przekazywać odpowiedź do parse_item metoda wyodrębniania pytań i tytułów.

def parse_item(self, response):
    questions = response.xpath('//div[@class="summary"]/h3')

    for question in questions:
        item = StackItem()
        item['url'] = question.xpath(
            'a[@class="question-hyperlink"]/@href').extract()[0]
        item['title'] = question.xpath(
            'a[@class="question-hyperlink"]/text()').extract()[0]
        yield item

DOWNLOAD_DELAY = 5

class MongoDBPipeline(object):

    def __init__(self):
        connection = pymongo.MongoClient(
            settings['MONGODB_SERVER'],
            settings['MONGODB_PORT']
        )
        db = connection[settings['MONGODB_DB']]
        self.collection = db[settings['MONGODB_COLLECTION']]

    def process_item(self, item, spider):
        for data in item:
            if not data:
                raise DropItem("Missing data!")
        self.collection.update({'url': item['url']}, dict(item), upsert=True)
        log.msg("Question added to MongoDB database!",
                level=log.DEBUG, spider=spider)
        return item

$ scrapy crawl stack_crawler

$ mongo
MongoDB shell version: 3.0.4
> use stackoverflow
switched to db stackoverflow
> db.questions.count()
447
>