Python: 使用正则表达式从文本中定位并提取想要的内容
2020-03-06
许梦洁
7114

连享会   主页 || 推文 || 知乎 || B 站 || 在线课堂

New！ 搜推文，找资料，用 lianxh 命令：
安装： ssc install lianxh, replace
使用： lianxh 合成控制
       lianxh DID + 多期, w

作者: 许梦洁 (Frankfurt School of Finance and Management)
E-mail: m.xu@fs.de

 

1. 问题提出

还是年报问询函的研究，需要从问询函文本中提取交易所要求回复的日期，同时还需要从公司回复的文本中提取公司实际上回复的日期。因此需要对两类文本分别进行分析。

2. 解决思路

通过观察，发现问询函中含有交易所要求回复的日期的句子通常是这样的：

“请你公司就上述问题做出书面说明，并在 8 月 9 日前将有关说明 材料报送我部，并对外披露。”
“请你公司就上述问题做出书面说明，涉及需披露的,请及时履行披露义务,并在2015年5月6日前将有关说明材料报送我部，同时抄送派出机构。”

相应的提取规则就很简单啦：

要求回复日期提取规则 = re.compile('[在于](.*月.*日)前', re.M)
    查询结果 = re.findall(b, 问询函文本)
    要求回复日期 = 查询结果[0].strip()

而公司的回函通常在整个回函的最后一行署上回函日期：

eg1: 万科的回函

万科的回函

eg2: 全新好的回函

全新好的回函

所以，回函日期的提取规则为：

回函日期提取规则 = re.compile('(^.*年.*月.*日)', re.M)
    查询结果 = re.findall(b, 回函文本)
    回函日期 = 查询结果[-1].strip()

3. 代码

以提取回函时间为例，完整的遍历一个文件夹下所有TXT和DOC文件，提取其中文字并使用正则表达式提取回函时间的代码为：

import os
import docx2txt
import re
content_list = []

def readdocx(filepath):
    content = docx2txt.process(filepath)  #打开传进来的路径
    docucode = filepath.split('/')[-1]
    content_list.append([docucode.split('.')[0],content])

def readtxt(filepath):
    content = open(filepath, "r").read()     #打开传进来的路径
    docucode = filepath.split('/')[-1]
    content_list.append([docucode.split('.')[0],content])

def eachFile(filepath):
    pathDir = os.listdir(filepath)      #获取当前路径下的文件名，返回List
    for s in pathDir:
        newDir=os.path.join(filepath,s)     #将文件命加入到当前文件路径后面
        if os.path.isfile(newDir) :         #如果是文件
            doctype = os.path.splitext(newDir)[1]
            if doctype == ".txt":  #判断是否是txt
                readtxt(newDir)
            elif doctype == ".docx":
                readdocx(newDir)
            else:
                pass
        else:
            eachFile(newDir)                #如果不是文件，递归这个文件夹的路径


eachFile("/Users/深交所回复/")

f = open("/Users/深交所回函时间.txt",'w')
a = 1
for doc in content_list:
    回函日期提取规则 = re.compile('(^.*年.*月.*日)', re.M)
    查询结果 = re.findall(b, 回函文本)
    if a:
        print([doc[0],查询结果[-1].strip()])
        f.write(','.join([doc[0],查询结果[-1].strip()])+'\n')

4. 结果

回函编码 回函时间
CDD00060941539694HF 2017年5月9日
CDD000711538301452HF 二〇一九年四月三日
CDD000160518921313HF 2018 年 10 月 24 日
CDD00066240310540HF 2016 年 11 月 30 日
CDD00001841921743HF 二〇一七年六月八日
CDD000767516771355HF 二〇一八年十二月五日
CDD00085036747HF 2015 年 12 月 1 日
CDD00070642758829HF 2017 年 8 月 30 日
CDD000995523321387HF 2018 年 12 月 24 日
CDD00061039434429HF 年 月 日
CDD00053343479922HF 2017 年 12 月 25 日
CDD00015540186516HF 二〇一六年十一月九日
CDD00091237491HF 2016 年 3 月 14 日
CDD000803515551281HF 二〇一八年九月二十七日
CDD00051840669600HF 2017 年 1 月 16 日
CDD00095843607935HF 2018 年 1 月 9 日
CDD000917516581436HF 2019 年 2 月 26 日
CDD00098239987494HF 二〇一六年十月十四日
CDD000566511201229HF 二〇一八年七月三十一日
XXB_CDD_000829天音控股回复 2015 年 6 月 25 日

 

5. 相关推文

Note：产生如下推文列表的 Stata 命令为：
  lianxh 正则 文本分析
安装最新版 lianxh 命令：
  ssc install lianxh, replace

资源共享

尊敬的老师 / 亲爱的同学们：
连享会致力于不断优化和丰富课程内容，以确保每位学员都能获得最有价值的学习体验。为了更精准地满足您的学习需求，我们诚挚地邀请您参与到我们的课程规划中来。
请您在下面的问卷中，分享您 感兴趣的学习主题或您希望深入了解的知识领域 。您的每一条建议都是我们宝贵的资源，将直接影响到我们课程的改进和创新。
我们期待您的反馈，因为您的参与和支持是我们不断前进的动力。感谢您抽出宝贵时间，与我们共同塑造更加精彩的学习旅程！https://www.wjx.cn/vm/YgPfdsJ.aspx# 再次感谢大家宝贵的意见！

关于我们

  • Stata连享会 由中山大学连玉君老师团队创办，定期分享实证分析经验。more……
  • 扫码加入连享会微信群，提问交流更方便

⚡ 最新课程推荐：
 

课程一：结构模型 · 2025 · 现场班

课程二：连享会 · 面板数据因果推断

FAQ：往期课程板书和答疑文档

选题征集，点击 此处 或者扫码填写问卷留下您的宝贵意见，感谢！

NEW！视频课堂：lianxh-class.cn

⚡ 新版 lianxh 命令：使用说明
 . ssc install lianxh, replace
 . lianxh 多期DID

⚡ ihelp：帮助文件 PDF 版
 . ssc install ihelp, replace
 . ihelp xtreg

lianxh_cn_saoma

⭕ 连玉君 · Stata 33 讲 - 免费
  o 点击观看，dofile 下载, --Book--

推荐专题