深圳品牌网站建设公司招聘,丁香园做科室网站,深圳万创网怎么样,网站做优化效果怎么样回顾使用requests如何实现自动登录一文中#xff0c;提到好多网站在我们登录过后#xff0c;在之后的某段时间内访问该网页时#xff0c;不会给出请登录的提示#xff0c;时间到期后就会提示请登录#xff01;这样在使用爬虫访问网页时还要登录#xff0c;打乱我们的节奏… 回顾使用requests如何实现自动登录一文中提到好多网站在我们登录过后在之后的某段时间内访问该网页时不会给出请登录的提示时间到期后就会提示请登录这样在使用爬虫访问网页时还要登录打乱我们的节奏并详细介绍了使用requests爬取网页时为实现自动登录获取键Cookie对应的值的过程。 那么selenium如何实现自动登录呢又如何获取键Cookie对应的值呢 开始之前我们先把项目创建好如下文件夹Day19下创建一个files文件夹用于存储爬取到的Cookie对应的值 一、selenium获取键Cookie对应的值
01_selenium获取cookie
from selenium.webdriver import Chrome# 1. 创建浏览器打开需要自动登录的网页
b Chrome()
url https://www.zhihu.com
b.get(url)# 2. 留足够长的时间给人工完成登录
#完成登录的时候必须保证浏览器对象指向的窗口能够看到登录成功的效果# 进入网页后会有登录提示手动扫码登录成功后回到pycharm的输出区输入任意
# 字符给input方便我们知道执行到什么地方了
input(已经完成登录:)# 3. 获取浏览器cookie保存到本地文件
cookies b.get_cookies()
with open(files/zhihu.txt, w, encodingutf-8) as f:f.write(str(cookies))完成登录的时候必须保证浏览器对象指向的窗口能够看到登录成功的效果是针对如下情况 因为第一步创建浏览器是打开网页指向的是第一个标签页要保证的是如果出现上述情况我们希望是指向第二个页面爬虫才能检测到我们已经登录成功了。可以在登录成功页面第二个页面刷新一下即可
将获取到的值存储进csv文件中后我们可以点击files文件查看 二、selenium实现自动登录
02_selenium使用cookie
# 1. 从本地的cookie文件中获取cookie
with open(files/zhihu.txt, encodingutf-8) as f:cookies eval(f.read())# 2. 添加cookie
for x in cookies:b.add_cookie(x)# 3.重新打开网页
b.get(https://www.zhihu.com)# 为了不让程序停止给一个input指令
input()到这里我们就实现了使用selenium完成自动登录的操作了
