网站开发 自动填写表单,做网站专家,佛山市网络seo推广公司,网上做网站广告投放通过HTMLPaser和urlib模块对网页进行抓取并分析实现步骤#xff1a;1、自定义MYHTMLParser类2、实例化类并访问天气预报官网3、抓取关键数据4、对数据进行切片处理并输出字典from html.parser import HTMLPaser #处理页面模块from urllib import request #访问网站模块L […通过HTMLPaser和urlib模块对网页进行抓取并分析实现步骤1、自定义MYHTMLParser类2、实例化类并访问天气预报官网3、抓取关键数据4、对数据进行切片处理并输出字典from html.parser import HTMLPaser #处理页面模块from urllib import request #访问网站模块L [] #定义列表接受抓取的信息class MYHTMLPaser(HTMLParser): #自定义MYHTMLParser类重写方法#定义三个函数#handle_starttag:处理开始标签 attrs:标签属性 tag:标签a_t False #定义a_t变量为提出标签内容时的判断做准备def handle_starttag(self,tag,attrs):if tag h1 and len(attrs) 0: #找出不带属性的h1标签self.a_t Trueelse tag p and len(attrs) 1: #找出属性大于1的p标签self.a_t True#handle_data:处理标签内容 data:标签内容def handle_data(self,data):if self.a_t True: #取出h1标签p标签的内容并添加到L列表中L.append(data)#handle_endtag:处理结束标签def handle_endtag(self,tag):self.a_t False #一个标签读取完成后恢复a_t变量为下一个标签的读取判断做准备#自定义类实例化p MYHTMLParser()#访问天气预报官网with request.urlopen(http://www.weather.com.cn/weather/101010100.shtml) as f:data f.read().decode(utf-8) #读取网页数据#解析网页信息查找未来七天的天气情况并输出到列表中p.feed(str(data))p.close() #关闭资源#对列表进行操作输出字典L1 list(list(L)[2:-6])[1:][::2]L2 list(list(L)[2:-6])[::2]weather dict(zip(L2,L1))#输出天气print(weather)输出结果如下图源码如下# 本模块对一周天气情况进行爬虫fromhtml.parserimportHTMLParserfromurllibimportrequestimportre# 自定义MYHTMLParser类L []classMYHTMLParser(HTMLParser):a_t Falsedef handle_starttag(self,tag,attrs):if tag h1andlen(attrs) 0:self.a_t Trueelif tag pandlen(attrs) 1:self.a_t Truedef handle_data(self,data):ifself.a_t True:L.append(data)def handle_endtag(self,tag):self.a_t False# 自自定义类实例化p MYHTMLParser()# 访问天气预报官网withrequest.urlopen(http://www.weather.com.cn/weather/101010100.shtml)asf:data f.read().decode(utf-8)# 解析网页输出关键信息p.feed(str(data))p.close()# 转成字典L1 list(list(L)[2:-6])[1:][::2]L2 list(list(L)[2:-6])[::2]weather dict(zip(L2,L1))print(weather)
