当前位置: 首页 > 图灵资讯 > 行业资讯> python scrapy模拟登录的方法

python scrapy模拟登录的方法

来源:图灵python
时间: 2024-07-04 14:50:12

1、requests模块。直接携带cookies请求页面。

找到url,发送post请求存储cookie。

2、selenium(浏览器自动处理cookie)。

找到相应的input标签,输入文本,点击登录。

3、scrapy直接带cookies。

找到url,发送post请求存储cookie。

#-*-coding:utf-8-*-
importscrapy
importre

classGithubLoginSpider(scrapy.Spider):
name='github_login'
allowed_domains=['github.com']
start_urls=['https://github.com/login']

defparse(self,response):#发送Post请求获得Cookiess
authenticity_token=response.xpath('//input[@name="authenticity_token"]/@value').extract_first()
utf8=response.xpath('//input[@name="utf8"]/@value').extract_first()
commit=response.xpath('//input[@name="commit"]/@value').extract_first()
form_data={
'login':'pengjunlee@163.com',
'password':'123456',
'webauthn-support':'supported',
'authenticity_token':authenticity_token,
'utf8':utf8,
'commit':commit}
yieldscrapy.FormRequest("https://github.com/session",formdata=form_data,callback=self.after_login)

defafter_login(self,response):#验证请求是否成功
print(re.findall('LearnGitandGitHubwithoutanycode!',response.body.decode()))

以上是python scrapy模拟登录方法,希望对大家有所帮助。更多Python学习指导:python基础教程

本文教程操作环境:windows7系统Python 3.9.1,DELL G3电脑。