Python：爬虫雅虎财经数据-selenium

Stata连享会   主页 || 视频 || 推文 || 知乎 || Bilibili 站

温馨提示： 定期 清理浏览器缓存，可以获得最佳浏览体验。

New！ lianxh 命令发布了：
随时搜索推文、Stata 资源。安装：
  . ssc install lianxh
详情参见帮助文件 (有惊喜)：
  . help lianxh
连享会新命令：cnssc, ihelp, rdbalance, gitee, installpkg
 

✌ 课程详情： https://gitee.com/lianxh/Course

⛳ 课程主页： https://gitee.com/lianxh/Course

⛳ Stata 系列推文：

• 全部 | Stata入门 | Stata教程 | Stata资源 | Stata命令
• 计量专题 | 论文写作 | 数据分享 | 专题课程
• 结果输出 | Stata绘图 | 数据处理 | Stata程序
• 回归分析 | 面板数据 | 交乘项-调节 | IV-GMM
• 内生性-因果推断 | 倍分法DID | 断点回归RDD | PSM-Matching | 合成控制法
• Probit-Logit | 时间序列 | 空间计量 | 分位数回归 | 生存分析 | SFA-DEA
• 文本分析-爬虫 | Python-R-Matlab | 机器学习
• Markdown | 工具软件 | 其它

☝ PDF下载 - 推文合集

作者：陈卓然 (中山大学)
邮箱：chenzhr25@mail2.sysu.edu.cn

目录

编者按：本文参考自 Bryan Pfalzgraf 的 How to Use Selenium to Web-Scrape with Example，以及连享会课程 文本分析-爬虫-机器学习，特此致谢！

本推文将以爬取世界主要股票指数为例，简要介绍 Python 爬虫的方法。

1. Selenium

现在，很多网页通过使用 JavaScript 的 Ajax 技术实现了网页内容的动态改变。在碰到动态页面时，一种方法是精通JavaScript，并使用浏览器跟踪浏览器行为，分析 JavaScript 脚本，进而使用以上的方法模拟浏览器请求。但是这种方法非常复杂，很多时候 JavaScript 可能会复杂到一定程度，使得分析异常困难。

另外一种方法是使用 Selenium 直接调用浏览器，浏览器自动执行 JavaScript，然后调用浏览器的 HTML 即可。这种方法非常方便，但是速度异常之慢。

为了实现这一方法，我们首先要安装 selenium：pip install selenium。selenium 是 Python 中用来自动调用浏览器的一个包，在从网页中爬取数据的过程中可以不需要我们自己去寻找真正的网页源代码。

selenium 中一个重要的类是 webdriver，它能够自动化地打开一个网页，帮助我们自动化进行浏览网页。webdriver 支持 Google Chrome，Internet Explorer，Firefox，Safari 和 Opera。

这里以一个爬取 NBA 球员薪酬网站为例，简要说明 selenium 的使用方法。首先我们需要定义一个 driver 的变量，用来爬取数据的引擎。

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import pandas as pd
driver = webdriver.Chrome()

然后我们需要使用 Python 去打开一个我们想要爬取的网站。

driver.get('https://hoopshype.com/salaries/players/')

接下来我们需要定位爬取信息的位置，为了提取需要的信息，我们需要定位到这个信息元素的 XPath。XPath 是一个用来寻找一个网页中任何元素的语法，为了找到 XPath, 我们需要右击鼠标，然后选择 检查(inspect)。

我们可以看到 Stephen Curry 的 HTML 代码是：

<td class=”name”>
<a href=”https://hoopshype.com/player/stephen-curry/salary/">
Stephen Curry </a>
</td>

在将其转换成 XPath 之前，让我们再检查一下另外一个明星 Russell Westbrook：

<td class=”name”>
<a href=”https://hoopshype.com/player/russell-westbrook/salary/">
>Russell Westbrook </a>
</td>

可以看到两者的相似之处在于 <td class=”name”>，也就是说我们可以据此来得到所有明星的名字。我们将其转换为 XPath: //td[@class=”name”]。所有的 XPath 以两条 // 开始，然后我们需要 td 标签，以及 td 标签下的 name 类。

from selenium.webdriver.common.by import By

driver = webdriver.Chrome()
driver.get('https://hoopshype.com/salaries/players/')
players = driver.find_elements(By.XPATH, '//td[@class="name"]')
players_list = []
for p in range(len(players)):
    players_list.append(players[p].text)

通过相同的办法，我们也可以找到这些球星的薪水。

salaries_list = []
for item in salaries:
    salaries_list.append(item.text)

df = pd.DataFrame(list(zip(players_list, salaries_list)))

2. 爬取雅虎财经数据

在了解如何使用 Selenium 之后，我们来爬取 Yahoo Finance 中的 世界主要股票指数。这次我们选择的浏览器是微软的 Edge 浏览器：

driver2 = webdriver.Edge()

这次采取和前文爬取 NBA 明星薪酬数据不太相同的方法，我们引入了 BeautifulSoup 包，将网页的 HTML 爬取下来。

driver2.get("https://finance.yahoo.com/world-indices/")
html2 = driver2.execute_script('return document.body.innerHTML;')
soup2 = BeautifulSoup(html2,'lxml')

接下来，我们按照前文的办法寻找对应的标签，以及标签下面的类，分别获得指数简称，指数全称，实时价格，价格数值变化，价格的百分比变化，以及成交量.

indices = [entry.text for entry in \
    soup2.find_all("a", {"class":"Fw(600) C($linkColor)"})]
names = [item.text for item in \
    soup2.find_all("td", {"class":"Va(m) Ta(start) Px(10px) Fz(s)","aria-label":"Name"})]
lastprice = [entry.text for entry in \
    soup2.find_all("fin-streamer", {"data-test":"colorChange", "data-field":"regularMarketPrice"})]
change = [entry.text for entry in \
    soup2.find_all("td", {"class":"Va(m) Ta(end) Pstart(20px) Fw(600) Fz(s)", "aria-label":"Change"})]
perc_change = [entry.text for entry in \
    soup2.find_all("td", {"class":"Va(m) Ta(end) Pstart(20px) Fw(600) Fz(s)", "aria-label":"% Change"})]
volumne = [item.text for item in \
    soup2.find_all("td", {"class":"Va(m) Ta(end) Pstart(20px) Fz(s)", "aria-label":"Volume"})]
df2 = pd.DataFrame((list(zip(indices, names, lastprice, change, perc_change, volumne))), \
    columns=["indices", "names", "lastprice", "change", "perc_change", "volume"])

3. 小结

本推文简要介绍了 Selenium 爬取简单的静态网页的方法。事实上，Selenium 能够做的远不止于此，它还可以用来爬取动态网页等等，感兴趣的读者可以进一步深入了解 Selenium 的有关知识。

4. 相关推文

Note：产生如下推文列表的 Stata 命令为：
  lianxh 爬虫, m
安装最新版 lianxh 命令：
  ssc install lianxh, replace

• 专题：文本分析-爬虫

  • Stata爬虫：爬取地区宏观数据
  • Stata爬虫：爬取Ａ股公司基本信息
  • Stata爬虫-正则表达式：爬取必胜客
  • Python爬虫: 《经济研究》研究热点和主题分析
• 专题：Python-R-Matlab

  • Python：多进程、多线程及其爬虫应用
  • Python爬虫1：小白系列之requests和json
  • Python爬虫2：小白系列之requests和lxml
  • Python爬虫：爬取华尔街日报的全部历史文章并翻译
  • Python爬虫：从SEC-EDGAR爬取股东治理数据-Shareholder-Activism

相关课程

免费公开课

• 直击面板数据模型 - 连玉君，时长：1小时40分钟，课程主页，Bilibili 站版
• Stata 33 讲 - 连玉君, 每讲 15 分钟. 课程主页，课件，Bilibili 站版
• Stata 小白的取经之路 - 龙志能，时长：2 小时，课程主页
• 部分直播课 课程资料下载 (PPT，dofiles等)

最新课程-直播课

• Note: 部分课程的资料，PPT 等可以前往 连享会-直播课 主页查看，下载。

⛳ 课程主页

⛳ 课程主页

关于我们

• Stata连享会 由中山大学连玉君老师团队创办，定期分享实证分析经验。
• 连享会-主页 和 知乎专栏，700+ 推文，实证分析不再抓狂。直播间 有很多视频课程，可以随时观看。
• 公众号关键词搜索/回复 功能已经上线。大家可以在公众号左下角点击键盘图标，输入简要关键词，以便快速呈现历史推文，获取工具软件和数据下载。常见关键词：课程, 直播, 视频, 客服, 模型设定, 研究设计, stata, plus, 绘图, 编程, 面板, 论文重现, 可视化, RDD, DID, PSM, 合成控制法 等

连享会小程序：扫一扫，看推文，看视频……

扫码加入连享会微信群，提问交流更方便

✏ 连享会-常见问题解答：
✨ https://gitee.com/lianxh/Course/wikis

New！ lianxh 和 songbl 命令发布了：
随时搜索连享会推文、Stata 资源，安装命令如下：
  . ssc install lianxh
使用详情参见帮助文件 (有惊喜)：
  . help lianxh