我是靠谱客的博主 无心西牛,这篇文章主要介绍python 爬取豆瓣图书, 保存为CSV格式,现在分享给大家,希望可以做个参考。

python 爬取豆瓣图书, 保存为CSV格式

复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
import requests from bs4 import BeautifulSoup import csv urls = ['https://book.douban.com/top250?start={0}'.format(i) for i in range(10)] for url in urls: headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36'} resp = requests.get(url,headers=headers,proxies={'171.13.136.238 ':'9999'}) fp = open('../爬虫/webspider/doubantushu.csv', 'a') write = csv.writer(fp) write.writerow(['书名','xinxi','评价','代言']) if resp.status_code==200: soup = BeautifulSoup(resp.text,'lxml') infos = soup.find_all('table') for i in infos: book_name = i.select('tbody > tr > td > div.pl2 > a') # #content > div > div.article > div > table:nth-child(2) > tbody > tr > td:nth-child(2) > div.pl2 > a bookinfoma = i.find('p').string print(bookinfoma) bookvalue = i.find_all('span')[2].string bookdaiyan = i.find_all('span')[3].string s = [book_name,bookinfoma,bookvalue,bookdaiyan] write.writerow(s) **加快速度 使用多线程 使用代理ip**

最后

以上就是无心西牛最近收集整理的关于python 爬取豆瓣图书, 保存为CSV格式的全部内容,更多相关python内容请搜索靠谱客的其他文章。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(91)

评论列表共有 0 条评论

立即
投稿
返回
顶部