一、selenium提取数据
(一)、driver对象的常用属性和方法
在使用selenium过程中,实例化driver对象后,driver对象有一些常用的属性和方法
driver.page_source
当前标签页浏览器渲染之后的网页源代码driver.current_url
当前标签页的urldriver.close()
关闭当前标签页,如果只有一个标签页则关闭整个浏览器driver.quit()
关闭浏览器driver.forward()
页面前进driver.back()
页面后退driver.screen_shot(img_name)
页面截图
复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34from selenium import webdriver import time url = 'http://www.baidu.com' # 创建一个浏览器对象 driver = webdriver.Chrome() # 访问指定的url地址 driver.get(url) # 显示源码 print(driver.page_source) # 显示响应对应的url print(driver.current_url) # 显示title标题 print(driver.title) time.sleep(2) driver.get('http://www.douban.com/') time.sleep(2) driver.back() time.sleep(2) driver.forward() time.sleep(2) # 保存网页快照,常用于验证是否运行或者验证码截图 driver.save_screenshot('baidu.png') # driver.close() driver.quit()
(二)、driver对象定位标签元素获取标签对象的方法
在selenium中可以通过多种方式来定位标签,返回标签元素对象
复制代码
1
2
3
4
5
6
7
8
9find_element_by_id (返回一个元素) find_element(s)_by_class_name (根据类名获取元素列表) find_element(s)_by_name (根据标签的name属性值返回包含标签对象元素的列表) find_element(s)_by_xpath (返回一个包含元素的列表) find_element(s)_by_link_text (根据连接文本获取元素列表) find_element(s)_by_partial_link_text (根据链接包含的文本获取元素列表) find_element(s)_by_tag_name (根据标签名获取元素列表) find_element(s)_by_css_selector (根据css选择器来获取元素列表)
复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35from selenium import webdriver import time url = 'http://www.baidu.com' driver = webdriver.Chrome() driver.get(url) # 基于xpath语法进行元素定位 # driver.find_element_by_xpath('//*[@id="kw"]').send_keys('gta5') # 基于css选择器进行元素定位 # driver.find_element_by_css_selector('#kw').send_keys('gta5') # 基于name属性值进行元素定位 # driver.find_element_by_name('wd').send_keys('gta5') # 基于class属性值进行元素定位 # driver.find_element_by_class_name('s_ipt').send_keys('gta5') # 通过链接文本进行元素定位 # driver.find_element_by_link_text('hao123').click() # 通过部分链接文本进行元素定位 # driver.find_element_by_partial_link_text('账号').click() # 目标元素在当前html中是唯一标签的时候或者是众多定位出来的标签的第一个的时候才能够使用 # print(driver.find_element_by_tag_name('title')) # driver.find_element_by_id('su').click() time.sleep(3) driver.close()
复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16from selenium import webdriver url = 'https://3w.huanqiu.com/?agt=114' driver = webdriver.Chrome() driver.get(url) el_list = driver.find_elements_by_xpath('//*[@id="news"]/div/h3/a|//*[@id="news"]/div/div/div/h3/a') for el in el_list: print(el.text, el.get_attribute('href')) # el.click() # 元素点击操作 # el.send_keys(data) el text input # el.clear() # 对输入框清空操作
1. 注意1:find_element和find_elements的区别:
- 多了个s就返回列表,没有s就返回匹配到的第一个标签对象
- find_element匹配不到就抛出异常,find_elements匹配不到就返回空列表
2. 注意2:by_link_text和by_partial_link_tex的区别:
- 全部文本和包含某个文本
- 以上函数的使用方法:
driver.find_element_by_id('id_str')
3. 标签对象提取文本内容和属性值
find_element仅仅能够获取元素,不能够直接获取其中的数据,如果需要获取数据需要使用以下方法
- 对元素执行点击操作
element.click()
,对定位到的标签对象进行点击操作 - 向输入框输入数据
element.send_keys(data)
,对定位到的标签对象输入数据 - 获取文本
element.text
,通过定位获取的标签对象的text
属性,获取文本内容 - 获取属性值
element.get_attribute("属性名")
,通过定位获取的标签对象的get_attribute
函数,传入属性名,来获取属性的值 - 代码实现,如下:
复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14from selenium import webdriver driver = webdriver.Chrome() driver.get('http://www.itcast.cn/') ret = driver.find_elements_by_tag_name('h2') print(ret[0].text) # ret = driver.find_elements_by_link_text('黑马程序员') print(ret[0].get_attribute('href')) driver.quit()
最后
以上就是迷你便当最近收集整理的关于Python爬虫selenium提取数据之driver对象常用方法一、selenium提取数据的全部内容,更多相关Python爬虫selenium提取数据之driver对象常用方法一、selenium提取数据内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
发表评论 取消回复