当前位置: 首页 > news >正文

wordpress制作功能型网站装修公司加盟模式

wordpress制作功能型网站,装修公司加盟模式,怎么做hello官方网站,最新新闻十条一、前言 接着上一篇的笔记#xff0c;Scrapy爬取普通无反爬、静态页面的网页时可以顺利爬取我们要的信息。但是大部分情况下我们要的数据所在的网页它是动态加载出来的#xff08;ajax请求后传回前端页面渲染、js调用function等#xff09;。这种情况下需要使用selenium进…一、前言 接着上一篇的笔记Scrapy爬取普通无反爬、静态页面的网页时可以顺利爬取我们要的信息。但是大部分情况下我们要的数据所在的网页它是动态加载出来的ajax请求后传回前端页面渲染、js调用function等。这种情况下需要使用selenium进行模拟人工操作浏览器行为实现自动化采集动态网页数据。 二、环境搭建 Scrapy框架的基本依赖包前几篇有记录selenium依赖包 pip install selenium4.0.0a6.post2pip install certifipip install urllib31.25.11 安装Firefox浏览器和对应版本的驱动包 火狐浏览器我用的是最新版121.0驱动的版本为0.3.0见上方资源链接把驱动放到python环境的Scripts文件夹下 三、代码实现 settings设置 SPIDER_MIDDLEWARES {stock_spider.middlewares.StockSpiderSpiderMiddleware: 543, }DOWNLOADER_MIDDLEWARES {stock_spider.middlewares.StockSpiderDownloaderMiddleware: 543, }ITEM_PIPELINES {stock_spider.pipelines.StockSpiderPipeline: 300, }middlewares中间件 from selenium.webdriver.firefox.options import Options as firefox_optionsspider.driver webdriver.Firefox(optionsfirefox_options()) # 指定使用的浏览器process_request def process_request(self, request, spider):# Called for each request that goes through the downloader# middleware.# Must either:# - return None: continue processing this request# - or return a Response object# - or return a Request object# - or raise IgnoreRequest: process_exception() methods of# installed downloader middleware will be calledspider.driver.get(http://www.baidu.com)return Noneprocess_response from scrapy.http import HtmlResponsedef process_response(self, request, response, spider):# Called with the response returned from the downloader.# Must either;# - return a Response object# - return a Request object# - or raise IgnoreRequestresponse_body spider.driver.page_sourcereturn HtmlResponse(urlrequest.url, bodyresponse_body, encodingutf-8, requestrequest) 启动爬虫后就可以看到爬虫启动了浏览器驱动接下来就可以实现各种模拟人工操作了
http://wiki.neutronadmin.com/news/292518/

相关文章:

  • 申请注册公司费用专业搜索引擎seo服务
  • 做二手车有哪些网站有哪些手续7游网页游戏平台
  • 苏州做网站的公司排名公司公众号怎么制作
  • 咕果网给企业做网站的wordpress 抄袭查询
  • 微网站地图定位工作室项目
  • 洛阳霞光高端定制网站建设网页设计课程报告
  • 宿州网站网站建设邢台信息港首页
  • 高校建设网站的特色wordpress关键字
  • 网站服务器建设教程视频金融投资管理公司网站源码
  • 保定网站推广费用青岛市城阳区建设局网站
  • 建设局网站新闻网站建设教程pdf百度云
  • 福州企业公司网站建设济南做网站互联网公司
  • WordPress网站动漫你在一家做公司评估的网站
  • 住房和城乡建设部网站下载开发一个公司官网大概多少钱
  • 杭州网站建设公司服务设计师推荐
  • 网站怎么申请官网微信公众号免费导入wordpress
  • 建材采购网河南seo技术教程
  • 黎平网站建设淄博网站设计制作
  • 产业园门户网站建设方案网站建设微分销
  • c 网站开发 vs2012开发平台游戏
  • 火车票网站建设多少网站seo的主要优化内容
  • 多语言外贸网站源码深圳建站公司优化
  • 个人做网站和百家号赚钱vps主机上搭建网站
  • 盐城网站建设0515icp深圳商城网站
  • 江苏做网站价格万界商城系统
  • dw做网站表格插不到右边公司网站的建设怎么做
  • 动态域名做网站中网互联网站建设
  • 各种大型网站公司注册地址查询系统
  • 制作网页怎样添加背景音乐北京网站优化提供商
  • 网站强制使用极速模式安卓商店