Scrapy - Visão geral
Scrapy é uma estrutura de rastreamento da web rápida e de código aberto escrita em Python, usada para extrair os dados da página da web com a ajuda de seletores baseados em XPath.
O Scrapy foi lançado pela primeira vez em 26 de junho de 2008, licenciado sob BSD, com um marco 1.0 sendo lançado em junho de 2015.
Por que usar o Scrapy?
É mais fácil construir e dimensionar grandes projetos de rastreamento.
Ele possui um mecanismo integrado chamado Seletores, para extrair os dados de sites.
Ele trata as solicitações de maneira assíncrona e é rápido.
Ele ajusta automaticamente a velocidade de rastreamento usando o mecanismo de aceleração automática .
Garante a acessibilidade do desenvolvedor.
Características do Scrapy
O Scrapy é um framework de rastreamento da web de código aberto e gratuito.
O Scrapy gera exportações de feed em formatos como JSON, CSV e XML.
O Scrapy possui suporte integrado para selecionar e extrair dados de fontes por XPath ou expressões CSS.
Scrapy baseado em crawler, permite extrair dados das páginas da web automaticamente.
Vantagens
O Scrapy é facilmente extensível, rápido e poderoso.
É um framework de aplicativos multiplataforma (Windows, Linux, Mac OS e BSD).
Solicitações scrapy são agendadas e processadas de forma assíncrona.
O Scrapy vem com um serviço integrado chamado Scrapyd que permite fazer upload de projetos e controlar spiders usando o serviço web JSON.
É possível descartar qualquer site, embora esse site não tenha API para acesso a dados brutos.
Desvantagens
Scrapy é apenas para Python 2.7. +
A instalação é diferente para diferentes sistemas operacionais.