Scrapy - Console Telnet

Descrição

O console Telnet é um shell Python executado dentro do processo Scrapy e é usado para inspecionar e controlar um processo em execução Scrapy.

Acesse o console Telnet

O console telnet pode ser acessado usando o seguinte comando -

telnet localhost 6023

Basicamente, o console telnet é listado na porta TCP, que é descrito em TELNETCONSOLE_PORT configurações.

Variáveis

Algumas das variáveis ​​padrão fornecidas na tabela a seguir são usadas como atalhos -

Sr. Não	Atalho e descrição
1	crawler Refere-se ao objeto Scrapy Crawler (scrapy.crawler.Crawler).
2	engine Isso se refere ao atributo Crawler.engine.
3	spider Isso se refere à aranha que está ativa.
4	slot Isso se refere ao slot do motor.
5	extensions Isso se refere ao atributo Extension Manager (Crawler.extensions).
6	stats Refere-se ao atributo Stats Collector (Crawler.stats).
7	setting Refere-se ao atributo do objeto Scrapy settings (Crawler.settings).
8	est Isso se refere à impressão de um relatório do status do motor.
9	prefs Isso se refere à memória para depuração.
10	p Isso se refere a um atalho para a função pprint.pprint .
11	hpy Isso se refere à depuração de memória.

Exemplos

A seguir estão alguns exemplos ilustrados usando o console Telnet.

Pause, retome e pare o mecanismo de sucata

Para pausar o mecanismo Scrapy, use o seguinte comando -

telnet localhost 6023
>>> engine.pause()
>>>

Para retomar o mecanismo Scrapy, use o seguinte comando -

telnet localhost 6023
>>> engine.unpause()
>>>

Para parar o mecanismo Scrapy, use o seguinte comando -

telnet localhost 6023
>>> engine.stop()
Connection closed by foreign host.

Exibir status do motor

O console Telnet usa est() método para verificar o status do mecanismo Scrapy, conforme mostrado no código a seguir -

telnet localhost 6023
>>> est()
Execution engine status

time()-engine.start_time                        : 8.62972998619
engine.has_capacity()                           : False
len(engine.downloader.active)                   : 16
engine.scraper.is_idle()                        : False
engine.spider.name                              : followall
engine.spider_is_idle(engine.spider)            : False
engine.slot.closing                             : False
len(engine.slot.inprogress)                     : 16
len(engine.slot.scheduler.dqs or [])            : 0
len(engine.slot.scheduler.mqs)                  : 92
len(engine.scraper.slot.queue)                  : 0
len(engine.scraper.slot.active)                 : 0
engine.scraper.slot.active_size                 : 0
engine.scraper.slot.itemproc_size               : 0
engine.scraper.slot.needs_backout()             : False

Sinais do console Telnet

Você pode usar os sinais do console telnet para adicionar, atualizar ou excluir as variáveis ​​no namespace local telnet. Para executar esta ação, você precisa adicionar o dict telnet_vars em seu manipulador.

scrapy.extensions.telnet.update_telnet_vars(telnet_vars)

Parâmetros -

telnet_vars (dict)

Onde, dict é um dicionário contendo variáveis ​​telnet.

Configurações de Telnet

A tabela a seguir mostra as configurações que controlam o comportamento do console Telnet -

Sr. Não	Configurações e descrição	Valor padrão
1	TELNETCONSOLE_PORT Isso se refere ao intervalo de portas para o console telnet. Se for definido como nenhum, a porta será atribuída dinamicamente.	[6023, 6073]
2	TELNETCONSOLE_HOST Isso se refere à interface na qual o console telnet deve escutar.	'127.0.0.1'