网站站群,手机网站改版了,免费学编程的软件,西安网站建设网络公司熊掌号chrome浏览器使用方法介绍
学习目标
了解 新建隐身窗口的目的了解 chrome中network的使用了解 寻找登录接口的方法 1 新建隐身窗口 浏览器中直接打开网站#xff0c;会自动带上之前网站时保存的cookie#xff0c;但是在爬虫中首次获取页面是没有携带cookie的#xff0c;这…chrome浏览器使用方法介绍
学习目标
了解 新建隐身窗口的目的了解 chrome中network的使用了解 寻找登录接口的方法 1 新建隐身窗口 浏览器中直接打开网站会自动带上之前网站时保存的cookie但是在爬虫中首次获取页面是没有携带cookie的这种情况如何解决呢 使用隐身窗口首次打开网站不会带上cookie能够观察页面的获取情况包括对方服务器如何设置cookie在本地 2 chrome中network的更多功能 2.1 Perserve log
默认情况下页面发生跳转之后之前的请求url地址等信息都会消失勾选perserve log后之前的请求都会被保留
2.2 filter过滤
在url地址很多的时候可以在filter中输入部分url地址对所有的url地址起到一定的过滤效果具体位置在上面第二幅图中的2的位置
2.3 观察特定种类的请求
在上面第二幅图中的3的位置有很多选项默认是选择的all即会观察到所有种类的请求
很多时候处于自己的目的可以选择all右边的其他选项比如常见的选项
XHR:大部分情况表示ajax请求JS:js请求CSS:css请求
但是很多时候我们并不能保证我们需要的请求是什么类型特别是我们不清楚一个请求是否为ajax请求的时候直接选择all,从前往后观察即可其中jscss图片等不去观察即可
不要被浏览器中的一堆请求吓到了这些请求中除了jscss图片的请求外其他的请求并没有多少个
3 寻找登录接口 回顾之前人人网的爬虫我们找到了一个登陆接口那么这个接口从哪里找到的呢 http://www.renren.com 3.1 寻找action对的url地址 可以发现这个地址就是在登录的form表单中action对应的url地址回顾前端的知识点可以发现就是进行表单提交的地址对应的提交的数据仅仅需要用户名的input标签中name的值作为键用户名作为值密码的input标签中name的值作为键密码作为值即可
思考
如果action对应的没有url地址的时候可以怎么做
3.2 通过抓包寻找登录的url地址 通过抓包可以发现在这个url地址和请求体中均有参数比如uniqueTimestamp和rkey以及加密之后的password
这个时候我们可以观察手机版的登录接口是否也是一样的 可以发现在手机版中依然有参数但是参数的个数少一些这个时候我们可以使用手机版作为参考下一节来学习如何分析js 小结
使用隐身窗口的主要目的是为了避免首次打开网站携带cookie的问题chrome的network中perserve log选项能够在页面发生跳转之后任然能够观察之前的请求确定登录的地址有两种方法 寻找from表单action的url地址通过抓包获取
