目录
一、bs4数据解析原理
1、环境安装
2、实例化一个BeautifulSoup对象,并且将页面源码数据加载到该对象中
①导包
②对象实例化
2、通过调用BeautifulSoup对象中相关的属性或者方法进行标签定位和数据提取
①tagName
②find
③select
④获取文本标签之间的文本数据
⑤获取标签的属性值
二、需求说明
三、步骤
四、源码
一、bs4数据解析原理
1、环境安装
1
2
3 — pip install bs4 — pip install lxml
2、实例化一个BeautifulSoup对象,并且将页面源码数据加载到该对象中
①导包
1from bs4 import BeautifulSoup
②对象实例化
(1)本地
1
2fp = open('./jingdong.html','r',encoding='utf-8')#本地文件 soup = BeautifulSoup(fp,'lxml')
(2)互联网
1
2
3page_text = response.text soup = BeatifulSoup(page_text,'lxml')
2、通过调用BeautifulSoup对象中相关的属性或者方法进行标签定位和数据提取
①tagName
soup.tagName:返回的是文档中第一次出现的tagName对应的标签
②find
— soup.find():
— soup('tagName'):等同于soup.div
— 属性定位:
— soup.find('div',class_/id/attr='song')
— soup.find_all('tagName'):返回的是符合要求的所有标签(列表)
③select
— select('某种选择器(id,class,标签.....选择器)'),返回的是一个列表。
— 层级选择器:
— soup.select('.tang > ul > li > a')[0]:>表示的是一个层级
—soup.select('.tang > ul li > a')[0]:空格表示的是多个层级
④获取文本标签之间的文本数据
— soup.a.text/string/get_text()(两个属性,一个方法)
— text/get_text():可以获取某一个标签中所有的文本内容(即使不是直系标签)
— string:只可以获取该标签下面直系的文本内容
⑤获取标签的属性值
— soup.a['href']
二、需求说明
爬取小说的标题以及详情页小说内容
三、步骤
步骤以及过程跟之前的一篇文章类似,就不做过多的介绍了
四、源码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33# -*- coding: utf-8 -*- import requests from bs4 import BeautifulSoup #需求:爬取三国演义小说所有的章节标题和章节内容http://www.shicimingju.com/book/sangguoyanyi.html if __name__ == '__main__': #对首页的页面数据进行爬取 url = 'https://book.qidian.com/info/1023589911' headers = { 'User-Agent': 'Mozilla /5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.67 Safari/537.36' } page_text = requests.get(url=url,headers=headers).text #在首页中解析出章节的标题和详情页的url #1.实例化BeautifulSoup对象,需要将页面源码数据加载到该对象中 soup = BeautifulSoup(page_text,'lxml') #解析章节标题和详情页url a_list = soup.select('.detail > p > a') fp = open('./sanguo.txt','w',encoding='utf-8') for x in a_list: title = x.string detail_url = 'https:'+ x['href'] #对详情页发起请求,解析出章节内容 detail_page_text = requests.get(url=detail_url,headers=headers).text #解析出详情页中相关的章节内容 detail_soup = BeautifulSoup(detail_page_text,'lxml') tag = detail_soup.find('div',class_='read-content j_readContent') # print(detail_soup) # tag = detail_soup.select('.read-content j_readContent ')# # tag = detail_soup.select('.content-wrap') content = tag.text fp.write(title+':'+content+'n') print(title,'爬取成功')
最后
以上就是完美过客最近收集整理的关于数据解析之BS4——实战一、bs4数据解析原理 二、需求说明三、步骤四、源码的全部内容,更多相关数据解析之BS4——实战一、bs4数据解析原理 二、需求说明三、步骤四、源码内容请搜索靠谱客的其他文章。
发表评论 取消回复