Stata爬虫：爬取Ａ股公司基本信息

Stata连享会   主页 || 视频 || 推文 || 知乎 || Bilibili 站

温馨提示： 定期 清理浏览器缓存，可以获得最佳浏览体验。

New！ lianxh 命令发布了：
随时搜索推文、Stata 资源。安装：
  . ssc install lianxh
详情参见帮助文件 (有惊喜)：
  . help lianxh
连享会新命令：cnssc, ihelp, rdbalance, gitee, installpkg
 

✌ 课程详情： https://gitee.com/lianxh/Course

⛳ 课程主页： https://gitee.com/lianxh/Course

⛳ Stata 系列推文：

• 全部 | Stata入门 | Stata教程 | Stata资源 | Stata命令
• 计量专题 | 论文写作 | 数据分享 | 专题课程
• 结果输出 | Stata绘图 | 数据处理 | Stata程序
• 回归分析 | 面板数据 | 交乘项-调节 | IV-GMM
• 内生性-因果推断 | 倍分法DID | 断点回归RDD | PSM-Matching | 合成控制法
• Probit-Logit | 时间序列 | 空间计量 | 分位数回归 | 生存分析 | SFA-DEA
• 文本分析-爬虫 | Python-R-Matlab | 机器学习
• Markdown | 工具软件 | 其它

☝ PDF下载 - 推文合集

作者： 李岸瑶 (华南师范大学)
邮箱： 1347396814@qq.com

目录

在上一篇中，我们已经讲解了如何爬取「地区宏观数据」。在本文中，我们将以爬取「Ａ股所有公司基本概况一览表」数据为例，讲解如何使用 Stata 进行网页表格数据爬取。

1. 网页分析

• 使用浏览器为 Win10 自带 Microsoft Edge 打开网址；
• 点击鼠标右键，“审查元素 (检查)”；
• 找到 “网络” 选项，点击一下；
• 点击 Ａ 股所有公司基本概况一览表的第二页；
• 可以看到有很多内容从网站服务器上 load 出来，那是加载第二页的网页信息源。

我们在其中能找到这样一个链接，通过复制粘贴到浏览器，可以发现该链接下存放的是数据。具体链接形式如下：

• http://stockdata.stock.hexun.com/gszl/data/jsondata/jbgk.ashx?count=20&titType=null&page=2&callback=hxbase_json15

经分析发现，上述 URL 中的 p = 2 就是关键，将 2 替换成具体页数，就能返回对应页数据的源代码。

2. 数据请求

capt mkdir "./Ａ股所有公司基本概况一览表"
cd "./Ａ股所有公司基本概况一览表"  

forv i=1(1)220{
    *注意：引号中的文本不能换行，这里为了展示方便，对链接内容进行了换行，
    *读者在练习时，可删除换行符，将链接内容放到一行
	copy "http://stockdata.stock.hexun.com/gszl/data/jsondata/jbgk.ashx? ///
	count=20&on=&titType=null&page=`i'&callback=hxbase_json15"           ///
	"temp`i'.txt", replace
}

由于这个网页没有设置反爬机制，所以可以直接使用 copy 命令进行下载。运用循环语句 forvalue 对前 220 页表格的信息进行下载。

3. 数据读入

第一步：合并所有已下载的 txt 文件，具体过程如下：

• 在 “Ａ股所有公司基本概况一览表” 文件夹中新建一个 txt 文件；
• 输入 type *.txt > all.txt，将所有 txt 文件全部合并成一个 all.txt，注意 type 和 * 之间有空格，写完保存；
• 然后将该 txt 文档的格式后缀 .txt 改为 .bat；
• 双击运行，所有数据储存于 all.txt。

第二步：txt 文档中插入转行。观察到 all.txt 中的内容并无转行，为了方便 Stata 处理数据，需插入转行。具体步骤如下：

• 对比文档内容与表格内容后，选择在 “shtml',Stockname” 前插入转行；
• 将文档内容剪切到 Word 中；
• 用 ^p shtml',Stockname 替换所有 shtml',Stockname；
• 随后复制到 all.txt 文档中。

第三步：读入 all.txt 文件。数据结构如下图所示：

infix strL v 1-20000 using all.txt, clear
format v %500s
replace v = ustrfrom(v, "gb18030", 1)

第四步：解决乱码问题。若数据导入 Stata 后，文字无法正常显示，即出现乱码问题。在这里，我们可用下面命令解决乱码问题。若文字显示正常，则不需运行以下命令。

replace v = ustrfrom(v, "gb18030", 1)

4. 数据处理

通过分析可以发现，表格中每一行的数据在源代码中都是单独位于一行的。为此，我们将利用正则表达式提取对应信息。关于正则表达式的介绍，请参考相关推文「正则表达式和文本分析」。

*利用正则匹配对应字符串
gen 公司名称_代码 = ustrregexs(0)  ///
	if ustrregexm(v, "(?<=Stockname:').+(?=',Pricelimit)")
gen 总股本_亿股 = ustrregexs(0)   ///
	if ustrregexm(v, "(?<=Pricelimit:').+(?=',lootchips)")
gen 流通股本_亿股 = ustrregexs(0) ///
	if ustrregexm(v, "(?<=lootchips:').+(?=',shareholders)")
gen 流通市值_亿元 = ustrregexs(0) ///
	if ustrregexm(v, "(?<=shareholders:').+(?=',Institutional)")
gen 注册资本_万元 = ustrregexs(0) ///
	if ustrregexm(v, "(?<=Institutional:').+(?=',Iratio)")
gen 市盈率_倍 = ustrregexs(0)    ///
	if ustrregexm(v, "(?<=Iratio:').+(?=',deviation)")
gen 所属行业 = ustrregexs(0)     ///
	if ustrregexm(v, "(?<=>).+(?=</a>',maincost)")
gen tmp = ustrregexs(0) if ustrregexm(v, "(?<=>).+(?=</a><)")
gen 所属概念 = ustrregexs(0) if ustrregexm(tmp, `"(?<=blank">).+"')
drop tmp
gen tmp = ustrregexs(0) if ustrregexm(v, `"(?<=blank">).+(?=</a>)"')	
gen 所属地域 = ustrregexs(0)    ///
	if ustrregexm(tmp, `"(?<=jdy-3..000000.shtml target="_blank">).+"')
drop tmp
gen 收盘价_元 = ustrregexs(0)  ///
	if ustrregexm(v, "(?<=Cprice:').+(?=',Stockoverview)")
drop v 
drop in 1

*导出数据
export excel using "Ａ股所有公司基本概况一览表.xlsx", firstrow(var) replace
shellout using "Ａ股所有公司基本概况一览表.xlsx"

5. 补充方法

以下方法不用借助任何第三方工具，完全依靠 Stata 完成，具体代码如下：

forvalues i = 1(1)220{
	infix strL v 1-20000 using "temp`i'.txt", clear
	format v %500s
	replace v = ustrfrom(v, "gb18030", 1)
	split v, p("},")
	insobs 20
	forvalues j = 1(1)20{
		replace v = v`j'[1] in `j'
	}
	keep v
	save "temp`i'.dta", replace
}

use temp1.dta, clear
forvalues i = 2(1)220{
	append using "temp`i'.dta"
}
drop if v == ""

*利用正则匹配对应字符串
gen 公司名称_代码 = ustrregexs(0)  ///
	if ustrregexm(v, "(?<=Stockname:').+(?=',Pricelimit)")
gen 总股本_亿股 = ustrregexs(0)   ///
	if ustrregexm(v, "(?<=Pricelimit:').+(?=',lootchips)")
gen 流通股本_亿股 = ustrregexs(0) ///
	if ustrregexm(v, "(?<=lootchips:').+(?=',shareholders)")
gen 流通市值_亿元 = ustrregexs(0) ///
	if ustrregexm(v, "(?<=shareholders:').+(?=',Institutional)")
gen 注册资本_万元 = ustrregexs(0) ///
	if ustrregexm(v, "(?<=Institutional:').+(?=',Iratio)")
gen 市盈率_倍 = ustrregexs(0)    ///
	if ustrregexm(v, "(?<=Iratio:').+(?=',deviation)")
gen 所属行业 = ustrregexs(0)     ///
	if ustrregexm(v, "(?<=>).+(?=</a>',maincost)")
gen tmp = ustrregexs(0) if ustrregexm(v, "(?<=>).+(?=</a><)")
gen 所属概念 = ustrregexs(0) if ustrregexm(tmp, `"(?<=blank">).+"')
drop tmp
gen tmp = ustrregexs(0) if ustrregexm(v, `"(?<=blank">).+(?=</a>)"')	
gen 所属地域 = ustrregexs(0)    ///
	if ustrregexm(tmp, `"(?<=jdy-3..000000.shtml target="_blank">).+"')
drop tmp
gen 收盘价_元 = ustrregexs(0)  ///
	if ustrregexm(v, "(?<=Cprice:').+(?=',Stockoverview)")
drop v 
drop in 1
save Ａ股所有公司基本概况一览表.dta, replace

forvalues i = 1(1)220{
	erase "temp`i'.dta"
}

6. 相关推文

Note：产生如下推文列表的 Stata 命令为：
  lianxh 正则 爬虫 文本, m
安装最新版 lianxh 命令：
  ssc install lianxh, replace

• 专题：专题课程

  • ⏩ 直播课：文本分析-爬虫-机器学习
  • 助教入选结果 - 连享会 文本分析与爬虫直播课
• 专题：文本分析-爬虫

  • Stata文本分析：lsemantica-潜在语义分析的文本相似性判别
  • 用正则表达式整理文献：正文与文末一一对应
  • textfind：文本分析之词频分析-TF-IDF
  • Stata文本分析之-tex2col-命令-文字变表格
  • Stata爬虫-正则表达式：爬取必胜客
  • Python爬虫: 《经济研究》研究热点和主题分析
  • Stata: 正则表达式和文本分析
  • 在 Visual Studio (vsCode) 中使用正则表达式
  • 正则表达式语言 - 快速参考
• 专题：Python-R-Matlab

  • Python: 使用正则表达式从文本中定位并提取想要的内容

相关课程

免费公开课

• 直击面板数据模型 - 连玉君，时长：1小时40分钟，课程主页，Bilibili 站版
• Stata 33 讲 - 连玉君, 每讲 15 分钟. 课程主页，课件，Bilibili 站版
• Stata 小白的取经之路 - 龙志能，时长：2 小时，课程主页
• 部分直播课 课程资料下载 (PPT，dofiles等)

最新课程-直播课

• Note: 部分课程的资料，PPT 等可以前往 连享会-直播课 主页查看，下载。

⛳ 课程主页

⛳ 课程主页

关于我们

• Stata连享会 由中山大学连玉君老师团队创办，定期分享实证分析经验。
• 连享会-主页 和 知乎专栏，400+ 推文，实证分析不再抓狂。直播间 有很多视频课程，可以随时观看。
• 公众号关键词搜索/回复 功能已经上线。大家可以在公众号左下角点击键盘图标，输入简要关键词，以便快速呈现历史推文，获取工具软件和数据下载。常见关键词：课程, 直播, 视频, 客服, 模型设定, 研究设计, stata, plus, 绘图, 编程, 面板, 论文重现, 可视化, RDD, DID, PSM, 合成控制法 等

连享会小程序：扫一扫，看推文，看视频……

扫码加入连享会微信群，提问交流更方便

✏ 连享会-常见问题解答：
✨ https://gitee.com/lianxh/Course/wikis

New！ lianxh 命令发布了：
随时搜索连享会推文、Stata 资源，安装命令如下：
  . ssc install lianxh
使用详情参见帮助文件 (有惊喜)：
  . help lianxh