Scrapy - Primeira Aranha

Descrição

Spider é uma classe que define o URL inicial de onde extrair os dados, como seguir os links de paginação e como extrair e analisar os campos definidos no items.py. O Scrapy fornece diferentes tipos de aranhas, cada uma delas com uma finalidade específica.

Crie um arquivo chamado "first_spider.py"sob o diretório first_scrapy / spiders, onde podemos dizer ao Scrapy como encontrar os dados exatos que estamos procurando. Para isso, você deve definir alguns atributos -

• name - Define o nome exclusivo da aranha.

• allowed_domains - Ele contém os URLs básicos para o spider rastrear.

• start-urls - Uma lista de URLs de onde o spider começa a rastrear.

• parse() - É um método que extrai e analisa os dados copiados.

O código a seguir demonstra a aparência de um código de aranha -

import scrapy  

class firstSpider(scrapy.Spider): 
   name = "first" 
   allowed_domains = ["dmoz.org"] 
   
   start_urls = [ 
      "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/", 
      "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/" 
   ]  
   def parse(self, response): 
      filename = response.url.split("/")[-2] + '.html' 
      with open(filename, 'wb') as f: 
         f.write(response.body)