爬取疫情数据并转入csv
之前有个小组作业是做关于疫情数据的爬取的,查了很多资料才弄好,现在来分享一下我的部份操作代码。
复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29import requests import json import pandas as pd #下面是全球的数据的获取 url4="https://api.inews.qq.com/newsqa/v1/automation/modules/list?modules=FAutoGlobalStatis,FAutoContinentStatis,FAutoGlobalDailyList,FAutoCountryConfirmAdd" headers={'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'}#设置请求头,反反爬虫 rqq=requests.get(url4,timeout=30,headers=headers)#设置请求参数,获取网页数据 #因为获取的是json格式,通过json.load()将json格式字符串转换为列表 data_wd=json.loads(rqq.text) #因为data_c列表中的‘data’里又嵌套了一个json,所以要再loads一次 word_d=data_wd['data']['FAutoGlobalDailyList'] #获取全球疫情日期、确诊人数、疑似人数、死亡人数、治愈人数 total3=[] for i in range(0,len(word_d)): total3.append([word_d[i]['date'],word_d[i]['all']['confirm'], word_d[i]['all']['dead'],word_d[i]['all']['heal'], word_d[i]['all']['deadRate'],word_d[i]['all']['healRate']]) print(total3)#查看 world_daily=pd.DataFrame(total3,index=range(0,len(word_d)),columns=['日期','确诊人数','死亡人数','治愈人数','死亡率','治愈率']) world_daily['日期']=world_daily['日期'].str.replace('.','/') world_daily.head() #写入csv world_daily.to_csv('data.csv',encoding="utf_8_sig")
注意csv的名称可以更改自己想要的名称,如果csv部份报错的话,就导入import csv。
最后
以上就是爱撒娇缘分最近收集整理的关于爬取疫情数据并转入csv的全部内容,更多相关爬取疫情数据并转入csv内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
发表评论 取消回复