当前位置: 首页 > news >正文

安徽营销型网站建设青岛港货物跟踪查询

安徽营销型网站建设,青岛港货物跟踪查询,跨境经验分享,织梦源码免费下载今晚想给偶像的相册截个图,避免某一天网站挂了我想看看回忆都不行,用的是js的木偶师来爬虫台湾的部落格,效果图大概是这样,很不错 问题来了.我很贪心, 我想一次性把相册全爬了,也就是并发 ,这个人的相册有19个!!我一下子要开19个谷歌浏览器那个什么进程, 然后程序就崩了, 我就想…今晚想给偶像的相册截个图,避免某一天网站挂了我想看看回忆都不行,用的是js的木偶师来爬虫台湾的部落格,效果图大概是这样,很不错 问题来了.我很贪心, 我想一次性把相册全爬了,也就是并发 ,这个人的相册有19个!!我一下子要开19个谷歌浏览器那个什么进程, 然后程序就崩了, 我就想能不能加入个限制? 每次只爬3个,3个完之后再继续. ok,思路是这样: 1.假如有一个数组9个url(模拟9个相册的url),我按并发数切割,假如并发数是3 2.得到数据结构如下 3.然后循环这个数组, 再循环里面的小数组并添加进promiseChunk数组,用await Promise.all阻塞后面的其他切割的小数组运行,同时添加进AllChunksPromise数组,用来统计所有切割小数组完成后的时间最后再Promise.all把第二步的数据结构扁平为一维在后面就可以计算得到代码执行时间 得到代码如下 结果还行,就是有点慢,毕竟后台调用浏览器...我的单核服务器cpu飙到100% 最后说下cheerio和puppeteer这两个这两天都有用cheerio解析静态网页很快很适合抓数据。木偶可以执行js这就很牛了因为他是直接打开一个浏览器运行的就是慢各有优缺优缺互补最好了 源代码已经上传github:https://github.com/DoctorTan/pixnetAlbumScreenshot
http://wiki.neutronadmin.com/news/370761/

相关文章:

  • 自己做头像网站wordpress 文章背景
  • 创建软件网站wordpress+特色缩略图
  • 电话做网站的推广平台公司招聘
  • 雄县阿里巴巴网站建设东莞清溪镇做网站公司
  • 涿州市查建设局网站保健品网站建设方案书模板
  • 网站免费建设价格沈阳网站建设兼职
  • 漕泾网站建设公司网站是怎么样的
  • 如何开网站赚钱wordpress手机端插件
  • 凡科互动游戏怎么破解西安专业网站排名优化
  • 普陀集团网站建设天猫购买商城
  • 网监要求网站备案自己做网站还是用别人网站
  • 怎么做电影网站的制作网站可用性监控
  • 网站怎么做可以增加点击率会员播放系统插件wordpress
  • 做网站买空间用共享ipwordpress 换域名 插件
  • wordpress上传源码seo技术推广培训
  • 益阳市城乡和住房建设部网站北京seo优化排名
  • 网站建设论文开题报告深圳市勘察设计
  • 怎么建设网站卖东西服装定制项目计划书
  • 选服务好的网站建设南宁整合推广公司
  • 企业网站 生成htmlwordpress 伪静态 nginx
  • 企业网站能不能个人备案如何能让网站尽快备案通过
  • 网站新闻图片尺寸怎样做网站检索数据分析
  • 怎么在国外网站买东西网站开发及建设赔偿条款
  • ps做网站需注意什么android开发工具有哪些
  • 做特卖的网站手机网站开发技术
  • 全媒体门户网站建设方案网站建设维护员
  • 网站制作需求表做趣步这样的网站需要多少钱
  • 自己随便玩玩的网站怎么建设圣诞节网站模板
  • 用ps做网站是用像素还是毫米uc搜索引擎入口
  • 网站建设上传图片不显示临时手机号注册网站