想要给网站投稿如何做,12380网站建设情况,微信网页版网址是多少,成都前端培训机构# codingutf-8
”’
从同一个地址发出的http请求过多过频繁#xff0c;都可能被网站给封掉
要解决这个问题#xff0c;就需要不停地更换代理
同时#xff0c;如果在用urllib2访问url的时候出现错误
可以用python的异常处理机制获取错误内容
最后#xff0c;urlopen可以指定…# codingutf-8
”’
从同一个地址发出的http请求过多过频繁都可能被网站给封掉
要解决这个问题就需要不停地更换代理
同时如果在用urllib2访问url的时候出现错误
可以用python的异常处理机制获取错误内容
最后urlopen可以指定一个timeout参数用来设置超时时间
”’
from bs4 import BeautifulSoup #导入beautifulsoup
from lxml import etree
#from urllib2 import Request, urlopen, URLError, HTTPError
import urllib2
#设定访问的代理服务器
#使用 urllib2.install_opener() 会设置 urllib2 的全局 opener
proxy_handler urllib2.ProxyHandler({“http”: ‘http://1.183.125.230:24470/’})
opener urllib2.build_opener(proxy_handler)
urllib2.install_opener(opener)
url ‘http://www.csdn.com’ #你要爬取的网页地址
req urllib2.Request(url)
req.add_header(‘User-Agent’, ‘Mozilla/5.0 (Windows NT 6.1; rv:33.0) Gecko/20100101 Firefox/33.0’)
#处理访问错误
try:
response urllib2.urlopen(req, timeout5)
except urllib2.URLError, e:
print “Failed to access url due to ” e.reason
else:
the_page response.read()
print the_page
