做算命网站,茌平网站建设,企业英文网站建设,今天的新闻大事10条小白一个#xff0c;爬取豆瓣电影250作为练习#xff0c;想把爬取的内容用csv存储#xff0c;想存但是不知道怎么自己原来代码拼接在一起。
ps:非伸手党#xff0c;查阅了官方文档#xff0c;也做了csv读写的练习#xff0c;就是拼不到一起#xff0c;不知道该怎么改。求…小白一个爬取豆瓣电影250作为练习想把爬取的内容用csv存储想存但是不知道怎么自己原来代码拼接在一起。
ps:非伸手党查阅了官方文档也做了csv读写的练习就是拼不到一起不知道该怎么改。求大神给条思路。
python3.5
import requests
from bs4 import BeautifulSoup
import lxml
import time
import csv
headers{
user-Agent:Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36
}
url http://movie.douban.com/top250
urls[https://movie.douban.com/top250?start{}filter.format(str(i)) for i in range(0,250,25)]
def get_item(url,dataNone):
web_datarequests.get(url)
time.sleep(3)
soupBeautifulSoup(web_data.text,lxml)
#抓取电影名字
movie_namessoup.find_all(div,{class:hd})
#抓取电影评分
movie_scroessoup.find_all(span,{class:rating_num})
#抓取网页图片movie_imagessoup.select(#content div div.article ol li div div.pic a img)
#抓取电影链接
movie_hrefsoup.select(#content div div.article ol li div div.info div.hd a)
for name,scroes,images,hrefs in zip(movie_names,movie_scroes,movie_images,movie_href):
data{
name:.join(i.strip() for i in name.get_text().split()),
scroes:scroes.get_text(),
images:images.get(src),
hrefs:hrefs.get(href)
}
print(data)
for sinle_url in urls:
get_item(sinle_url)
