爬取网易云！一起来爬取吧！

159 阅读 0 评论 105 点赞

我是靠谱客的博主威武八宝粥，这篇文章主要介绍爬取网易云！一起来爬取吧！，现在分享给大家，希望可以做个参考。

selenium爬取网易云评论

一起来爬取吧！
- 一、安装selenium
- 二、安装Google浏览器并配置ChromeDriver
- 三、爬取网易云

一起来爬取吧！

一、安装selenium

可以直接在pycharm里安装需要的库selenium
file-settings如下操作：
在这里插入图片描述

二、安装Google浏览器并配置ChromeDriver

点击Google菜单帮助 -> 关于Google Chrome -> 查看版本号（版本 71.0.3578.98（正式版本）（64 位））

下载ChromeDriver https://chromedriver.storage.googleapis.com/index.html

对比自己浏览器版本下载相应版本（相近就可以）

解压后把文件放到 python的script目录下例如：
（我的在D盘）
在这里插入图片描述验证： cmd命令行执行 chromedriver 输出如下信息：
表示安装 ChromeDriver配置好了

测试在python程序中执行

复制代码

1
2
3
from selenium import webdriver
browser = webdriver.Chrome()

程序运行后弹出空白的Chrome浏览器说明我们之前配置都没有问题
在这里插入图片描述

三、爬取网易云

复制代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
from selenium import webdriver
import time
from selenium.common.exceptions import NoSuchElementException, TimeoutException
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait

driver = webdriver.Chrome()
driver.maximize_window()
driver.get("https://music.163.com/#/song?id=520532431")
driver.switch_to.frame("contentFrame")
time.sleep(5)
driver.execute_script('window.scrollTo(0, document.body.scrollHeight)')
driver.save_screenshot('d:/gg.png')  # 截图
for i in range(80):
    b = driver.find_element_by_xpath("//a[starts-with(@class,'zbtn znxt')]")
    b.click()
    try:
        WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH,"//a[@data-type='reply']")))
        print(driver.page_source)
    except NoSuchElementException:
        print('OMG')

    time.sleep(1)
driver.quit()