当前位置: 首页 > news >正文

东莞网站建设方案企业kindeditor wordpress

东莞网站建设方案企业,kindeditor wordpress,网站服务公司案例,在天猫开店需要什么条件与费用一、关于中间件 之前文章说过#xff0c;scrapy有两种中间件#xff1a;爬虫中间件和下载中间件#xff0c;他们的作用时间和位置都不一样#xff0c;具体区别如下#xff1a; 爬虫中间件#xff08;Spider Middleware#xff09; 作用#xff1a; 爬虫中间件主要负…一、关于中间件 之前文章说过scrapy有两种中间件爬虫中间件和下载中间件他们的作用时间和位置都不一样具体区别如下 爬虫中间件Spider Middleware 作用 爬虫中间件主要负责处理从引擎发送到爬虫的请求和从爬虫返回到引擎的响应。这些中间件在请求发送给爬虫之前或响应返回给引擎之前可以对它们进行处理。 下载中间件Downloader Middleware 作用 下载中间件主要负责处理引擎发送到下载器的请求和从下载器返回到引擎的响应。这些中间件在请求发送给下载器之前或响应返回给引擎之前可以对它们进行处理。 中间件作用优先级 只需要记住级别越小的越接近scrapy的引擎结合scrapy的数据流就能记住每个中间件的作用时机。 结合图可知 在下载中间件中 对于process_request()来说优先级数字越小越先被调用对于process_response()来说优先级数字越大越先被调用 在爬虫中间件中 对于process_spider_input()来说优先级数字越小越先被调用对于process_spider_output()来说优先级数字越大越先被调用 那么哪来的这些方法 二、定义中间件的通用模板 先看一个内置的中间件UserAgentMiddleware init: 在这里进行中间件的初始化可以使用 settings 对象获取配置信息from_crawler:在这里通过 crawler 对象创建中间件的实例可以获取全局配置信息spider_opened(可选): 在这里执行爬虫启动时的初始化操作例如打开文件、连接数据库等process_request(可选): 在这里对请求进行预处理例如修改请求头、添加代理等那么同理process_response(可选) 爬虫中间件模板 class MySpiderMiddleware(object):def __init__(self, settings):# 在这里进行中间件的初始化可以使用 settings 对象获取配置信息passclassmethoddef from_crawler(cls, crawler):# 在这里通过 crawler 对象创建中间件的实例可以获取全局配置信息settings crawler.settingsreturn cls(settings)def process_spider_input(self, response, spider):# 在这里处理从下载器传递给爬虫的响应对象return responsedef process_spider_output(self, response, result, spider):# 在这里处理爬虫生成的结果例如对结果进行过滤或修改return resultdef process_spider_exception(self, response, exception, spider):# 在这里处理爬虫产生的异常pass 下载中间件模板 class MyDownloaderMiddleware(object):def __init__(self, settings):# 在这里进行中间件的初始化可以使用 settings 对象获取配置信息passclassmethoddef from_crawler(cls, crawler):# 在这里通过 crawler 对象创建中间件的实例可以获取全局配置信息settings crawler.settingsreturn cls(settings)def process_request(self, request, spider):# 在这里对请求进行预处理例如修改请求头、添加代理等return None # 返回 None 表示继续处理请求或者返回一个新的请求对象def process_response(self, request, response, spider):# 在这里对响应进行处理例如修改响应内容、判断是否重新发送请求等return response # 返回响应对象或者返回一个新的响应对象def process_exception(self, request, exception, spider):# 在这里处理请求异常例如记录日志、发送通知等pass三、位置 我们自定义的中间件在middlewares.py中编写类就可以
http://wiki.neutronadmin.com/news/366939/

相关文章:

  • 网站建设属于哪个分类编码中国纪检监察报网站
  • 树在线网页制作网站软文网站推广法
  • 美妆网站模版网站友情链接的好处
  • 网站长期建设 运营计划无锡做网站公司有哪些
  • 浙江建设厅网站那三类人员亚马逊做deal的网站
  • 网站被采集wordpress折叠代码
  • 新媒体包不包括公司网站的建设seo关键词是什么意思
  • 备案网站能打开吗怎样打造营销型网站建设
  • 小型电子商务企业网站建设网站建设实施背景分析
  • 好的做外贸的网站有哪些使用WordPress默认主题
  • seo两个域名一个网站有影响江西省上饶市城乡建设网站
  • 酒店机票最便宜的网站建设专注湛江地区网站开发定制建设
  • 松阳县建设局网站网站开发一般要多少钱
  • 宁波网站建设选择荣胜网络gg服务器租用网站
  • 假视频网站源码出售网站轮播图的按钮怎么做的
  • 响应式网站建设服务提供商天津网站制作套餐
  • 商务网站开发实验报告深圳商城网站设计推荐
  • 企业内部门户网站建设方案制作网站首页的步骤
  • 河南建设网站官网垂直行业门户网站建设方案
  • 上海做公司网站建筑公司网站制作
  • 有中文网站 怎么做英文网站丰宁县有做网站的吗
  • 深圳网站设计 建设科技有限公司网站建设的常见技术有哪些方面
  • 天津做网站哪家比较好企业qq怎么申请
  • 网站需要公司备案么ddns域名注册
  • 海南的网站建设公司凡客家具质量怎么样
  • 网站死链存在的问题长沙如何优化排名
  • 淮安网站制作设计重庆南岸营销型网站建设公司哪家专业
  • 怎么做社交网站自我建设外贸网站
  • 域名命名网站包做包装的网站
  • 网站被攻击的方法深圳最大的广告公司