当前位置: 首页 > news >正文

江苏住房城乡建设部网站唯品会网站开发技术分析

江苏住房城乡建设部网站,唯品会网站开发技术分析,沃家组网网络服务费,无锡公司网站建设PHP爬取历史天气 PHP作为宇宙第一语言#xff0c;爬虫也是非常方便#xff0c;这里爬取的是从天气网获得中国城市历史天气统计结果。 程序架构 main.php ?phpinclude_once(./parser.php);include_once(./storer.php);#解析器和存储器见下文$par…PHP爬取历史天气 PHP作为宇宙第一语言爬虫也是非常方便这里爬取的是从天气网获得中国城市历史天气统计结果。 程序架构 main.php ?phpinclude_once(./parser.php);include_once(./storer.php);#解析器和存储器见下文$parser new parser();$storer new storer();#获得url列表$urlList $parser-getCityList(http://lishi.tianqi.com/);#依次解析新的URL网站内容并存到数据库中foreach($urlList as $url){$data $parser-getData($url);$storer-store($data);} 解析器 解析器提供两个接口一个是解析主页获得url列表另一个是解析每座城市的数据获得该城市的历史天气数据。 这里使用到的解析库是phpquery使用JQuery的查询方式简单高效。 ?php#借助JQuery库解析include_once(./phpQuery-onefile.php); class parser {//获取城市url列表function getCityList($url){//直接在线流下载phpQuery::newDocumentFile($url);//第一次选择$links pq(.bcity *);$urlList [];foreach ($links as $link) {#第二次选择$tmp pq($link)-find(a)-attr(href);#过滤组标签if ($tmp!# and $tmp!) {#检查urlif(strpos($tmp,-)false and filter_var($tmp, FILTER_VALIDATE_URL))$urlList[] $tmp; #添加URL列表}}return $urlList;}//获取某个城市的历史气候function getData($url){//直接在线流下载phpQuery::newDocumentFile($url);//第一次选择$text pq(div .tqtongji p)-text();#匹配城市$city $this-match(/(.)共出现/,$text);#匹配天气$rainy $this-match(/雨(\d)天/,$text);$cloudy $this-match(/多云(\d)天/,$text);$sunny $this-match(/晴(\d)天/,$text);$overcast $this-match(/阴(\d)天/,$text); #为了跟cloudy区分$snowy $this-match(/雪(\d)天/,$text);#匹配拼音$pinYin $this-match(/http:\/\/lishi\.tianqi\.com\/(.*?)\/index\.html/,$url);$result[url] $url;$result[city] $city;$result[pinYin] $pinYin;$result[rainy] $rainy;$result[cloudy] $cloudy;$result[sunny] $sunny;$result[overcast] $overcast;$result[snowy] $snowy;return $result;}#正则解析function match($rule,$text){preg_match_all($rule, $text, $result);#有些地区不是所有天气都有if(count($result[1])0)return 0;return $result[1][0];} } 存储器 使用MySQLi接口即可代码如下 ?phpclass storer{public $mysqli;function __construct(){$this-mysqli new mysqli(localhost, ***, ******, phpWeather);$this-mysqli-query(SET NAMES UTF8);}function store($data){$url $data[url];$city $data[city];$pinYin $data[pinYin];$rainy $data[rainy];$cloudy $data[cloudy];$sunny $data[sunny];$overcast $data[overcast];$snowy $data[snowy];#字符串在插入时要添加来区分$insertData VALUES($city,$pinYin,$rainy,$cloudy,$sunny,$overcast,$snowy,$url);;#sql分开写更加清楚$sql INSERT INTO record(city,pinYin,rainy,cloudy,sunny,overcast,snowy,url).$insertData;$isok $this-mysqli-query($sql);if($isok){echo $city 数据添加成功\n;}else{echo $sql . \n;echo $city 数据添加失败\n;}}function __destruct(){$this-mysqli-close();}} ? 爬虫结果 共爬取了3119座城市的从2011年到现在的历史天气接下来的数据分析以及可视化留到下一篇博客讲述。 转载于:https://www.cnblogs.com/fanghao/p/7496469.html
http://wiki.neutronadmin.com/news/263340/

相关文章:

  • 为什么企业要建设自己的企业文化邯郸seo优化
  • 网站右侧浮动广告代码沈阳网站开发外包
  • 所有网站都能进的浏览器永辉企业微信app下载安装
  • 网站建设三站合一用层做的网站
  • 珠海网站建设q.479185700強嘉兴做网站的
  • 杭州app开发公司集中郑州seo技术博客
  • 网站代运营服务温岭企业网站建设公司
  • 河南两学一做网站网站制作怎么添加图片
  • 国外网站加速神器默认wordpress菜单去除
  • 太原谁想做网站郑州手机网站制作公司哪家好
  • 学信网网站建设怎么搞wordpress if分类
  • 公司网站制作第一步是什么佛山建设局网站
  • 那些网站平台可以做3d建模建筑网站建设赏析
  • 怎么介绍自己的网站建设知言 wordpress
  • 班级网站建设html制作怎么做模板wordpress
  • 一般公司网站用什么域名套餐平面设计画册设计
  • 中国建设安全协会网站网站建设faq
  • 邵阳汽车网站建设wordpress同类软件
  • 内存数据库 网站开发小程序开发者文档
  • com网站建设如皋建设局网站
  • 文成网站建设什么网址可以免费
  • 龙华住房和建设局网站赣州企业网站建设推广
  • 数据共享网站建设为什么要给企业建设网站?
  • 内蒙古呼和浩特网站建设淘宝网站建设目标
  • 朝阳企业网站建设公司注册地址和经营地址不一样
  • 填写网站信息博野网站建设
  • 凡科能上传自己做的网站河南郑州网站制作
  • 外贸搜索网站电脑网页设计代码模板
  • 东营建设信息网网站手机app定制开发公司
  • c 做网站源码实例wordpress手册下载地址