Scrapy - Meio Ambiente

Neste capítulo, discutiremos como instalar e configurar o Scrapy. O Scrapy deve ser instalado com Python.

O Scrapy pode ser instalado usando pip. Para instalar, execute o seguinte comando -

pip install Scrapy

janelas

Note - Python 3 não é compatível com o sistema operacional Windows.

Step 1- Instale Python 2.7 a partir de Python

Defina as variáveis ​​ambientais adicionando os seguintes caminhos ao PATH -

C:\Python27\;C:\Python27\Scripts\;

Você pode verificar a versão do Python usando o seguinte comando -

python --version

Step 2- Instale o OpenSSL .

Adicione C: \ OpenSSL-Win32 \ bin em suas variáveis ​​ambientais.

Note - OpenSSL vem pré-instalado em todos os sistemas operacionais, exceto Windows.

Step 3- Instale redistribuíveis do Visual C ++ 2008 .

Step 4- Instale o pywin32 .

Step 5- Instale o pip para versões do Python anteriores a 2.7.9.

Você pode verificar a versão do pip usando o seguinte comando -

pip --version

Step 6 - Para instalar o scrapy, execute o seguinte comando -

pip install Scrapy

Anaconda

Se você tiver o anaconda ou miniconda instalado em sua máquina, execute o comando abaixo para instalar o Scrapy usando conda -

conda install -c scrapinghub scrapy

A empresa Scrapinghub oferece suporte a pacotes conda oficiais para Linux, Windows e OS X.

Note - É recomendado instalar o Scrapy usando o comando acima se você tiver problemas ao instalar via pip.

Ubuntu 9.10 ou superior

A versão mais recente do Python está pré-instalada no Ubuntu OS. Use os pacotes do Ubuntu aptgettable fornecidos pelo Scrapinghub. Para usar os pacotes -

Step 1 - Você precisa importar a chave GPG usada para assinar pacotes Scrapy no chaveiro APT -

sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7

Step 2 - Em seguida, use o seguinte comando para criar o arquivo /etc/apt/sources.list.d/scrapy.list -

echo 'deb http://archive.scrapy.org/ubuntu scrapy main' | sudo tee 
/etc/apt/sources.list.d/scrapy.list

Step 3 - Atualize a lista de pacotes e instale o scrapy -

sudo apt-get update && sudo apt-get install scrapy

Archlinux

Você pode instalar o Scrapy do pacote AUR Scrapy usando o seguinte comando -

yaourt -S scrapy

Mac OS X

Use o seguinte comando para instalar as ferramentas de linha de comando Xcode -

xcode-select --install

Em vez de usar o sistema Python, instale uma nova versão atualizada que não entre em conflito com o resto do seu sistema.

Step 1- Instale homebrew .

Step 2 - Defina a variável PATH ambiental para especificar que os pacotes homebrew devem ser usados ​​antes dos pacotes do sistema -

echo "export PATH = /usr/local/bin:/usr/local/sbin:$PATH" >> ~/.bashrc

Step 3 - Para ter certeza de que as mudanças foram feitas, recarregue .bashrc usando o seguinte comando -

source ~/.bashrc

Step 4 - Em seguida, instale o Python usando o seguinte comando -

brew install python

Step 5 - Instale o Scrapy usando o seguinte comando -

pip install Scrapy