Stata文本分析：lsemantica-潜在语义分析的文本相似性判别

Stata连享会   主页 || 视频 || 推文 || 知乎 || Bilibili 站

温馨提示： 定期 清理浏览器缓存，可以获得最佳浏览体验。

New！ lianxh 命令发布了：
随时搜索推文、Stata 资源。安装：
  . ssc install lianxh
详情参见帮助文件 (有惊喜)：
  . help lianxh
连享会新命令：cnssc, ihelp, rdbalance, gitee, installpkg
 

✌ 课程详情： https://gitee.com/lianxh/Course

⛳ 课程主页： https://gitee.com/lianxh/Course

⛳ Stata 系列推文：

• 全部 | Stata入门 | Stata教程 | Stata资源 | Stata命令
• 计量专题 | 论文写作 | 数据分享 | 专题课程
• 结果输出 | Stata绘图 | 数据处理 | Stata程序
• 回归分析 | 面板数据 | 交乘项-调节 | IV-GMM
• 内生性-因果推断 | 倍分法DID | 断点回归RDD | PSM-Matching | 合成控制法
• Probit-Logit | 时间序列 | 空间计量 | 分位数回归 | 生存分析 | SFA-DEA
• 文本分析-爬虫 | Python-R-Matlab | 机器学习
• Markdown | 工具软件 | 其它

☝ PDF下载 - 推文合集

作者： 赵汗青 (华南理工大学)
邮箱： hqingzh@gmail.com

编者按：本推文部分摘译自如下论文，特此致谢！
Source：Schwarz, C. (2019). lsemantica: A command for text similarity based on latent semantic analysis. The Stata Journal, 19(1), 129-142. -PDF-

目录

1. 潜在语义分析

在基于词频的文本相似度分析中，主要存在以下问题：

• 同一个词汇在不同的语境中可能有不同的含义，即 “一词多义”；
• 不同词汇在不同的语境中可能表达相同的含义，即 “多词一义”。

为了解决该问题，Deerwester 等 (1990) 提出了潜在语义分析 (latent semantic analysisa, LSA)。该方法的主要特征如下：

• 它一种基于机器学习来比较单词或文本相似度的算法；
• 由于理解单词的含义和上下文很重要，LSA 通过考虑单词之间的关系和潜在的多重含义来改进相似度计算结果。

这些属性使得 LSA 有着广泛的应用场景，包括：

• 计算单词之间相似性
• 计算文本之间相似性
• 基于计算机辅助的摘要写作
• 对论文进行自动评分
• 评估语篇连贯性

虽然 Stata 中已经提供了 strdist 命令用于计算 Levenshtein 编辑距离、txttool 命令用于文本数据的清理和标记化、以及 ldagibbs 命令可以按相似主题对文本进行分类，但如果要计算文本之间的相似程度，我们还需要 lsemantica 命令。

2. lsemantica 命令

2.1 理论部分

2.1.1 建立 “文档-词汇” 矩阵

LSA 基本原理是通过计算每个文档中词汇分布情况的相似程度，来分析文档间的相似性，因此 lsemantica 命令首先要基于词袋模型创建一个 “文档-词汇” 矩阵 (document-term matrix)。

在矩阵 $\mathbf{A}$ 中，行数 $D$ 代表需要分析的文档的数量，列数 $V$ 代表分词后所有文档中的词汇数量。$f_{d,v}$ 代表词汇 $v$ 在文档 $d$ 中出现的次数。

2.1.2 对 “文档-词汇” 矩阵重新加权

接着，lsemantica 根据 TFIDF (termfrequency-inverse-document-frequency) 对矩阵 $\mathbf{A}$ 中的 $f_{d,v}$ 进行加权。其计算公式如下：

其中，$d_v$ 是第 $v$ 个词在所有文档中出现的数量。TFIDF 的计算也可以通过 Stata 命令 textfind 实现。TFIDF 加权的意义在于降低那些同时出现在多个文档中的单词权重，因为这些单词对于文档的整体意义通常不够重要。TFIDF加权后，矩阵 $\mathbf{A}$ 变成如下矩阵：

2.1.3 对 “文档-词汇” 矩阵进行截断奇异值分解

当文档较多时，即 $V$ 较大时，计算量会比较大。为了降低算力，lsemantica 命令会对矩阵 $\mathbf{A}$ 进行奇异值分解，并得到 $D\times R$ 正交矩阵 $\mathbf{U}$、$R\times R$ 方阵 $\mathbf{\Sigma }$、以及 $R\times V$ 正交矩阵 ${\mathbf{W}}^{\mathbf{T}}$。

之后，lsemantica 对分解后的矩阵进行截断降维。矩阵 $\mathbf{\Sigma }$ 的奇异值从高到低排，去掉其中最小特征值相关的行和列，仅保留用户选择的 $C\times C$，这使得矩阵的维度变为 $C$。因此矩阵 $\mathbf{U}$ 变成 ${\mathbf{U}}_{\mathbf{C}}$，矩阵 $\mathbf{\Sigma }$ 变为 ${\mathbf{\Sigma }}_{\mathbf{C}}$，矩阵 ${\mathbf{W}}^{\mathbf{T}}$ 变成 ${\mathbf{W}}_{\mathbf{C}}^{\mathbf{T}}$ (见下图的阴影部分)。

值得注意的是，$C$ 的数量通常是根据词汇表的大小来选择的，Martin 和 Berry (2007) 认为 100~1000 通常会产生良好的效果。降维过程的最终结果是，产生矩阵 $\mathbf{A}$ 的低阶近似矩阵 ${\mathbf{A}}_{\mathbf{C}}$。这一过程是 LSA 中最重要的步骤，因为它将原本的语义空间压缩到 $C$ 这一最重要的部分。

2.1.4 用截断后的矩阵构造语义空间

lsemantica 基于 $U_C\times {\mathrm{\Sigma }}_C$ 得到的 $D\times C$ “文档-成分” 矩阵来计算文档相似性，该矩阵是矩阵 $\mathbf{A}$ 的降维语义空间。通过 lsemantica cosine 对该矩阵的各个行向量计算余弦相似度，可以得到各个文档之间的相似度。除此之外，lsemantica 还可以保存 “单词-成分” 矩阵 ${\mathbf{W}}^{\mathbf{T}}$，并通过命令 lsemantica_word_comp 读取。该矩阵主要用于判断单个单词之间的词义相似度，即用于识别多词同义的情形。

2.2 语法介绍

*命令安装
net install st0552.pkg, replace

*语法介绍
lsemantica varname, components(integer) tfidf min char(integer) ///
           stopwords(string) min freq(integer) max freq(real)   ///
           name new var(string) mat save path(string)

• components(integer) 指定语义空间应该减少到的组件数量。组件的数量通常基于词汇表的大小来选择，默认值为 components(300)；
• tfidf 指定在应用截断奇异值分解之前是否应该使用 tfidf 重新加权。在大多数情况下，tfidf 重新加权将改善结果；
• min_char(integer) 允许从文本中删除短词。字符少于最小字符的单词将从 LSA 中排除。默认值为 min_char(0)；
• stopwords(string) 指定要从 lsemantica 中排除停用词；
• min_freq(integer) 允许删除出现在较少文档中的单词。默认值为min_freq(0)；
• max_freq(real) 允许删除文档中频繁出现的单词。默认值为 max_freq(1)；
• name_new_var(string) 指定 lsemantica 创建的输出变量的名称。这些变量包含每个文档的组件。默认情况下，变量的名称前缀是 component；
• mat_save 指定是否应保存单词成分矩阵 ${\mathbf{W}}^{\mathbf{T}}$。这个矩阵描述了单词之间的语义关系。默认情况下，不会保存矩阵；
• path(string) 设置保存单词分量矩阵的路径。

3. Stata 实例

3.1 英文实例-计算论文标题相似度

本例子的数据集为 1980-2016 年在经济期刊上发表的 41349 篇文章的标题。在进行 LSA 之前，先删除标题中的非字母数字字符，并列出前三篇文章清洗后的标题。

. *数据获取
. cap mkdir tmp //建立临时文件夹
. cd "./tmp"
. net get st0552.pkg, replace ///
>     from(http://www.stata-journal.com/software/sj19-1/)

. use example_data.dta, clear
. gen text_strings = title
. *剔除非字母和数字字符
. replace text_strings=strlower(text_strings)
. replace text_strings =  ustrregexra(text_strings, "[^a-zA-Z ]", "")
. replace text_strings = stritrim(text_strings)
. list text_strings in 1/3
     +------------------------------------------------------------------+
     |                                                     text_strings |
     |------------------------------------------------------------------|
  1. |                      what is labor supply and do taxes affect it |
  2. |                tax rules and the mismanagment of monetary policy |
  3. | a consistent characterization of a nearcentury of price behavior |
     +------------------------------------------------------------------+

首先，lsemantica 生成 “文档-词汇” 矩阵，从数据中删除小于 4 个字符的单词和出现在少于 10 个文档或超过一半文档中的单词，并将定义的停止词列表 stopwords 中的单词从数据中删除。

然后，lsemantica 使用 TFIDF 对生成的 “文档-词汇” 矩阵进行重新加权。每当处理了 10% 的词汇表时，该命令都会报告。

. *自定义被排除的单词列表 (停止词)
. global stopwords "a able about across after all almost also 
> am among an and  any are as at be because been but by can 
> cannot could dear did do does either  else ever every for 
> from get got had has have he her hers him his how however  
> i if in into is it its just east let like likely may me 
> might most must my  neither no nor not of off often on 
> only or other our own rather said say says  she should 
> since so some than that the their them then there these 
> they this tis to too twas us wants was we were what when 
> where which while who whom why will with would yet you your"

. *进行潜在语义分析
. lsemantica text_strings, components(300) min_char(4)         ///
>     min_freq(10) max_freq(0.5) tfidf stopwords("$stopwords") ///
>     path("$path") mat_save

如果某些文档在文本清洗后没有剩下的单词文本，这些样本将被删除。因为它们干扰了截断奇异值分解。lsemantica 会报告哪些文档已经从数据中删除，以及词汇表的大小。在本示例中，167 个文档被删除。

需要注意的是，在 lsemantica 计算截断奇异值分解的过程中需要较多的算力，可能会运行较长时间，有时候 Stata 会变得无响应。其计算时长时间随着 “文档-词汇矩阵” 的大小而增加，即随着文档数量和词汇表的大小而增加。

在 lsemantica 运行完毕后，可以使用 lsemantica_cosine 命令计算分量向量之间的余弦相似度，即各文档间相似度。lsemantica_cosine 计算了与其他文档标题的平均相似度以及最大和最小相似度。

. lsemantica_cosine component_1-component_300, mean_cosine     ///
>     min_cosine max_cosine find_similar(10) find_similar_cosine(10)

. *查看平均相似度描述性统计
. summarize mean_similarity, detail
                       mean_similarity
-------------------------------------------------------------
      Percentiles      Smallest
 1%      .004445       .0019212
 5%     .0064652        .002039
10%     .0078351       .0022063       Obs              41,187
25%     .0106501       .0023181       Sum of Wgt.      41,187

50%     .0145226                      Mean           .0151535
                        Largest       Std. Dev.      .0060212
75%      .018957       .0410298
90%     .0232855       .0423272       Variance       .0000363
95%     .0260129       .0429791       Skewness        .573504
99%     .0315491       .0431718       Kurtosis       3.174497

. *查看最大相似度描述性统计
. summarize max_similarity, detail
                       max_similarity
-------------------------------------------------------------
      Percentiles      Smallest
 1%      .566003       .3102426
 5%     .6279272       .3372106
10%     .6633787       .3501289       Obs              41,187
25%     .7301425       .3673398       Sum of Wgt.      41,187

50%     .8161867                      Mean           .8236289
                        Largest       Std. Dev.      .1225668
75%       .94531              1
90%     .9939191              1       Variance       .0150226
95%     .9984688              1       Skewness      -.1232839
99%            1              1       Kurtosis        2.12262

. *查看最小相似度描述性统计
. summarize min_similarity, detail
                       min_similarity
-------------------------------------------------------------
      Percentiles      Smallest
 1%    -.2540156      -.4333508
 5%     -.192361      -.4333508
10%    -.1627325      -.4326484       Obs              41,187
25%    -.1244975      -.4326484       Sum of Wgt.      41,187

50%    -.0941637                      Mean          -.1053932
                        Largest       Std. Dev.      .0439186
75%    -.0745706      -.0296279
90%    -.0628191      -.0296218       Variance       .0019288
95%    -.0572771      -.0287106       Skewness      -1.664787
99%    -.0482183      -.0284858       Kurtosis       7.269679

由于余弦相似度矩阵的维数一般比较大 (DxD)，因此将其存储在 Mata 中。如果需要，可以在 lsemantica_cosine 命令后使用 getmata (cosin_*) = cosine_sim 从 Mata 中检索完整的余弦相似矩阵。当然，也可以将其储存为 mata 文件，以便下次读取使用。

. *在 Stata 中运行 Mata 命令，以下代码需要同时运行
. *Stata 中运行 Mata，保存和读取余弦相似矩阵
. mata 
------------------- mata (type end to exit) ---------
: // 保存 Mata 文件
: mata matsave cosine cosine_sim, replace 
(saving cosine_sim[41187,41187])
file cosine.mmat saved

: // Mata 读取文件
: mata matuse cosine, replace 
(loading cosine_sim[41187,41187])
: end
-----------------------------------------------------

此外，lsemantica_cosine 可以为数据中的每一篇文章找到最相似的文章。在这个例子中，计算了 10 篇最相似的文章。然后，列出数据中第一篇文章的五个最相似的文章标题。可以看到，LSA 准确地识别了所有讨论劳动力供应问题的高度相似的文章。

. list most_similar_* cosine_most_similar_* if _n ==1

+---------------------------------------------------------------------------++
| 28468 | 513 | 6288 | 27267 | 34267 | 26707 | 38850 | 29322 | 29305 | 38932 |
+----------------------------------------------------------------------------+

. list title if _n==1 | _n==28468 | _n==513 | _n==6288 | _n==27267 | _n==34267

+----------------------------------------------------------------------+
| title                                                                  
| ---------------------------------------------------------------------- 
| 1.| What Is Labor Supply and Do Taxes Affect It?                         
| 513.| Family Labor Supply with Taxes                                      
| 6288. | The Effect of Taxes on Labor Supply in the Underground Economy       
| 27267.| Low-Skilled Immigration and the Labor Supply of Highly Skilled Women 
| 28468.| Labor Supply and Taxes: A Survey                                     
| 34267.| Worktime Regulations and Spousal Labor Supply                       
+----------------------------------------------------------------------+

lsemantica 可以计算与原始文章高度相似的文章数量。在这个例子中，选择了余弦相似度为 0.7 5的截止值，通过 Mata 代码生成一个名为 high_sim_articles 的新变量，即余弦相似度大于 0.75 的文档的数量。

. sort pub_year
. mata 
----------------- mata (type end to exit) ----------------
: pub_year = st_data(., "pub_year")

: high_sim_paper= J(0,1,.)

: for (y=1980 ; y<=2016 ; y++){
>   cosine_submat = select(cosine_sim, pub_year:==y)
>   cosine_submat = select(cosine_submat',pub_year:>=y)'
>	high_sim = rowsum(( cosine_submat:>=J(rows(cosine_submat), 
>   cols(cosine_submat), 0.75) ))
>   high_sim_paper = high_sim_paper \ high_sim

: var = st_addvar("double", "high_sim_paper")
: st_store(., "high_sim_paper", high_sim_paper)
: end
----------------------------------------------------------

对引用数量和高相似文章数量的回归分析表明，两个变量之间存在显著的正相关关系，即高相似文章数量越多的文章越多文章引用。

. reg citations high_sim_paper i.pub_year

      Source |       SS           df       MS      Number of obs   =    41,182
-------------+----------------------------------   F(37, 41144)    =     79.43
       Model |  34007739.4        37  919128.091   Prob > F        =    0.0000
    Residual |   476071505    41,144   11570.861   R-squared       =    0.0667
-------------+----------------------------------   Adj R-squared   =    0.0658
       Total |   510079244    41,181  12386.2763   Root MSE        =    107.57

--------------------------------------------------------------------------------
     citations |      Coef.   Std. Err.      t    P>|t|     [95% Conf. Interval]
---------------+----------------------------------------------------------------
high_sim_paper |  -.0244854   .4637143    -0.05   0.958    -.9333754    .8844046
      pub_year |
         1981  |   18.96915   15.03021     1.26   0.207    -10.49039     48.4287
        (output omitted)
         2016  |  -44.62202   10.75611    -4.15   0.000    -65.70423   -23.53981
         _cons |   48.41729   10.50983     4.61   0.000     27.81779     69.0168
--------------------------------------------------------------------------------

最后，lsemantica 可以比较词语的语义关系和相似度。使用lsemantica_word_comp，可以导入 lsemantica 存储的 “单词-成分” 矩阵。同样，lsemantica 余弦可以用于计算数据中单词之间的余弦相似度，以找到最相似的单词。例如，在下例中，lsemantica 识别出 “division”、“force”、“frictional”、“labor”、“monopsony” 和“segemented” 这几个词是相互关联的。

. lsemantica_word_comp using "word_comp.mata"
. lsemantica_cosine component_1-component_300, ///
>     find_similar(10) find_similar_cosine(10)
. list most_similar_*  if _n ==1516, noheader table

  +------------------------------+-----------------------------+
  | 1768   812  1144  2465  1111   291  1394  1309  2253  2232 |
  +------------------------------------------------------------+

. list word if _n==1516 | _n==812 | _n==1144 | _n==2465 | _n==1111 | _n==1768

   +--------------------+
   |       |    words   |
   | ----- |------------|
   | 812.  | division   |
   | 1111. | force      |
   | 1144. | frictional |
   | 1516. | labor      |
   | 1768. | monopsony  |
   | 2465. | segmented  |
   +--------------------+

3.2 中文实例-计算 MD&A 相似度

本实例仅分析平安银行 (证券代码 000001) 2001-2019 年的管理层讨论与分析的文本 (MD&A) 数据。同样，在 LSA 之前进行文字清洗，仅保留中文。

. use "https://gitee.com/arlionn/data/raw/master/
> data01/lsemantica/MD_A.dta", clear
. gen text_strings = mda
. *仅保留中文字符
. replace text_strings=ustrregexra(text_strings,"[^\u4e00-\u9fa5]+"," ") 
. *去除中文数字
. replace text_strings=ustrregexra(text_strings,"[一二三四五六七八九十]+"," ") 

由于中文和英文单词不同，没有空格用于区分各个单词，故这里需要在 Stata 中调用 Python 中的 jieba 库，对文本进行分词。

*调用python进行中文分词
python 
import jieba
from sfi import Data
import pandas as pd
dct = Data.getAsDict('Symbol text_strings')
txtdf =pd.DataFrame(dct) 
txtdf['text_strings']=txtdf['text_strings'].apply(lambda x:"  ".join(jieba.cut(x, cut_all=False)))
from sfi import Data 
Data.setObsTotal(len(txtdf))
Data.addVarStr("text",100)
Data.store("text",None,txtdf['text_strings'],None)
end

接着进行 LSA 分析，先计算 “文档-词汇” 矩阵，由于本示例中只有 19 条文本，词汇量较少，故只能提取出较少成分，否则在 SVD 分解过程中会报错，故这里 components(15)。同时纳入计算的词汇标准也降低，最小字符长度定义为 1，词频范围 0~1。

. lsemantica text, components(15) min_char(1) ///
>     min_freq(0) max_freq(1) 

*计算向量间余弦相似度
. lsemantica_cosine component_1-component_10,         ///
>   mean_cosine min_cosine max_cosine find_similar(5) ///
>   find_similar_cosine(5)
. list most_similar_* if _n ==1, noheader
     +------------------------------------------------------+
  1. |        2          3          4          8          9 |
     +------------------------------------------------------+

. list  Year if _n==1 | _n==2 |_n==3 |_n==4 |_n==2 |_n==8

     +-------------+
     |      | Year |
     | ---- |------|
     | 1.   | 2001 |
     | 2.   | 2002 |
     | 3.   | 2003 |
     | 4.   | 2004 |
     | 8.   | 2008 |
     +-------------+

从 Mata 中获取余弦相似度矩阵，生成变量 cosin_1-cosin_19，分别表示与 2001~2019 年管理层讨论与分析文本的相似度。通过循环构建变量 Similarity 表示与上一年年报中管理层讨论与分析文本的相似度，并查看其描述性统计。

. getmata (cosin_*) = cosine_sim
.	  gen Similarity=.
.	  foreach num of numlist 1/19 {
.        replace Similarity=cosin_`num' if _n==(`num'+1)
	}
	
. summarize Similarity,detail

                         Similarity
-------------------------------------------------------------
      Percentiles      Smallest
 1%     .0898155       .0898155
 5%     .0898155       .1218855
10%     .1218855       .2486546       Obs                  18
25%     .4395948       .3753533       Sum of Wgt.          18

50%     .7880501                      Mean            .689412
                        Largest       Std. Dev.      .3095546
75%     .9507129       .9534972
90%     .9966181        .995663       Variance        .095824
95%     .9967352       .9966181       Skewness      -.7702948
99%     .9967352       .9967352       Kurtosis       2.224078

4. 相关推文

Note：产生如下推文列表的 Stata 命令为：
  lianxh 爬虫 文本
安装最新版 lianxh 命令：
  ssc install lianxh, replace

• 专题：专题课程

  • ⏩ 直播课：文本分析-爬虫-机器学习
  • 助教入选结果 - 连享会 文本分析与爬虫直播课
• 专题：文本分析-爬虫

  • textfind：文本分析之词频分析-TF-IDF
  • Stata文本分析之-tex2col-命令-文字变表格
  • Stata爬虫-正则表达式：爬取必胜客
  • Python爬虫: 《经济研究》研究热点和主题分析
  • Stata: 正则表达式和文本分析
• 专题：Python-R-Matlab

  • Python: 使用正则表达式从文本中定位并提取想要的内容

相关课程

免费公开课

• 直击面板数据模型 - 连玉君，时长：1小时40分钟，课程主页
• Stata 33 讲 - 连玉君, 每讲 15 分钟.
• Stata 小白的取经之路 - 龙志能，时长：2 小时，课程主页
• 部分直播课 课程资料下载 (PPT，dofiles等)

最新课程-直播课

• Note: 部分课程的资料，PPT 等可以前往 连享会-直播课 主页查看，下载。

⛳ 课程主页

⛳ 课程主页

关于我们

• Stata连享会 由中山大学连玉君老师团队创办，定期分享实证分析经验。
• 连享会-主页 和 知乎专栏，400+ 推文，实证分析不再抓狂。直播间 有很多视频课程，可以随时观看。
• 公众号关键词搜索/回复 功能已经上线。大家可以在公众号左下角点击键盘图标，输入简要关键词，以便快速呈现历史推文，获取工具软件和数据下载。常见关键词：课程, 直播, 视频, 客服, 模型设定, 研究设计, stata, plus, 绘图, 编程, 面板, 论文重现, 可视化, RDD, DID, PSM, 合成控制法 等

连享会小程序：扫一扫，看推文，看视频……

扫码加入连享会微信群，提问交流更方便

✏ 连享会-常见问题解答：
✨ https://gitee.com/lianxh/Course/wikis

New！ lianxh 命令发布了：
随时搜索连享会推文、Stata 资源，安装命令如下：
  . ssc install lianxh
使用详情参见帮助文件 (有惊喜)：
  . help lianxh