计算机在汉语研究中的应用――以字频统计为例

Size: px

Start display at page:

Download "计算机在汉语研究中的应用――以字频统计为例"

沙向经
7 years ago
Views:

1 如何进行汉字频率统计 * 郭曙纶 ( 上海交通大学国际教育学院, 上海 ) 摘要 : 本文针对文科研究者, 对使用通用软件进行汉语字频统计的具体操作过程进行了详细的介绍关键词 : 汉字频率, 统计, 通用软件一引言随着互联网的发展和普及, 人们利用网络收集语料, 从事语言研究已经成为可能本文以字频统计为例, 详细介绍计算机技术在现代汉语研究中的应用考虑到文科研究者大多不会自己编写软件, 因此本文讨论中涉及到的软件全都是通用的或免费的软件, 可以很容易获得, 这些软件包括 : 网际快车 Fine Reader UltraEdit( 可从互联网免费下载 ) Microsoft Office( 包括 Word Excel 和 Access) 等, 即本文完全是针对文科研究者所做的汉语字频统计的具体操作过程的详细介绍所用语料全部来自互联网文章将分成以下几个部分来具体说明如何运用计算机来进行汉语的字频统计一获取网络原始语料电子文本网络语料的获取有许多方法, 如常用网际快车软件就可以批量下载 HTML 网页文件二原始语料的初步处理 : 格式转换与文件合并利用软件 Fine Reader 把 HTML 网页文件转化成 TXT 文本文件, 并且合并成一个大文件三合并文本文件的处理 : 保证每个汉字一行这里主要是把文件中的每个字后面都加上一个回车符, 这样便于把文本中的汉字导入软件 ACCESS 中建立的数据库文件的表中四汉字次数与字频统计在 ACCESS 中利用软件自带的重复查询功能统计汉字出现次数, 并计算出频率五汉字累积频率统计利用前面统计得到的汉字出现次数在软件 EXCEL 中计算出累积字频二汉字频率统计步骤 ( 一 ) 获取网络原始语料电子文本网络语料的获取有许多方法, 如常用的网际快车软件就可以批量下载 HTML 网页文件先下载安装网际快车软件 FlashGet, 然后对于需要下载的那个网页右击调出快捷菜单, 选择作者简介 : 郭曙纶 (1967- ), 男, 江西省遂川县人, 博士, 上海交通大学国际教育学院语言学及应用语言学副教授硕士生导师, 多元文化研究所所长, 主要研究方向为对外汉语教学语料库语言学汉语语义分析 * 本文得到上海交通大学国际教育学院科研创新计划项目基于语料库技术的汉语教材编写系统 ( 课题批准号 08YTS02) 国家语言资源监测与研究中心教育教材语言分中心首批立项课题上海市中小学语文教材语料库 ( 课题批准号 E ) 和 2006 年度上海市哲学社会科学规划一般课题上海市基础教育教材语言资源的建设和应用 ( 课题批准号 2006BJY006) 的经费资助

件, 可以很容易获得, 这些软件包括 : 网际快车 Fine Reader UltraEdit( 可从互联网免费下载 ) Microsoft Office( 包括 Word Excel 和 Access) 等, 即本文完全是针对文科研究者所做的汉语字频统计的具体操作过程的详细介绍所

2 使用快车 (FlashGet) 下载全部链接, 具体见下面的屏幕截图图 1.1 使用快车 (FlashGet) 下载全部链接在选择保存路径时可以自己指定或新建一个目录, 这样可以保证下载某些相同主题的网页文件能够下载到同一个目录下, 便于日后进一步的处理具体见下面的截图

3 图 1.2 改变快车 (FlashGet) 下载的目标目录下载完成后就得到了我们需要处理的最原始的语料文件, 等待下一步的处理 ( 二 ) 原始语料的初步处理 : 格式转换与文件合并在得到原始的 HTML 网页文件后, 一般不能直接处理, 需要把它们转换成 TXT 文本文件, 并且为了后面处理的方便, 需要把转换后的 TXT 文本文件合并成一个大的文本文件这一步骤可以利用软件 Fine Reader( 这个软件可从互联网上免费下载得到 ), 先把 HTML 格式的网页文件转化成 TXT 格式的文本文件, 转换后还可以利用软件 Fine Reader 的合并功能把转换好的文本文件合并成一个大的文本文件从互联网上下载的网页绝大部分都是 HTML 格式的文件, 我们在对其进行统计之前应首先对其进行格式转换, 即由 HTML 格式转换为 TXT 格式, 并将所有的 TXT 文件合并为一个文件具体过程如下 : (1) 使用 Fine Reader 软件进行转换合并 Fine Reader 是一个专为整理电子版小说而开发的工具, 包括 HTML 到文本文件的转换文件合并段落合并段落切分文本替换内码转换 ( 只能在 Win 2k/XP 下用 ) 文件切分 tcr 文件压缩 / 解压等功能本文只需要用到其中的前两个功能 : Html Text 和文件合并见下面的截图 ( 图 2.1): 图 2.1 Fine Reader 软件图 2.2 Html Text 的转换步骤如下 : Ⅰ. 在 Html Text 界面下 1. 选择如何转换 HTML.Tag 中点击典型中文 HTML 按钮, 再点击 2. 开始转换按钮就会打开需要转换的文件 ( 支持多选 ) 对话框, 选中所有要转换的 HTML 文件 ( 选中多个文件的方法 : 单击第一个文件, 按住 SHIFT 键的同时单击最后一个文件, 或者直接按 CTRL 键 + 字母 A 键 ) 最后点击打开按钮进行转换 ( 见图 2.2) 注意 : 默认状态下删除源文件是勾选上了的, 请单击后清除该选项, 这样就不会删除原始语料的网页文件 Ⅱ. 新建一个文件夹 ( 例如, 在 D 盘根目录下新建一个名为 WENBEN 的文件夹 ), 并将步骤 Ⅰ 中转换后得到的 TXT 文本文件全部复制到该文件夹中

的文本文件, 转换后还可以利用软件 Fine Reader 的合并功能把转换好的文本文件合并成一个大的文本文件从互联网上下载的网页绝大部分都是 HTML 格式的文件, 我们在对其进行统计之前应首先对其进行格式转换, 即由 HTML 格式

4 Ⅲ. 新建一个文本文件, 最好不要位于前面新建的文件夹 WENBEN 下 ( 例如, 可以在 D 盘根目录下新建一个名为 TEXT 的文本文件 ) 单击软件最上面一排中的文件合并, 进入文件合并界面在文件合并界面下 1. 选择合并后的文件 ( 目标文件 ) 中点击选择按钮, 弹出选择输出文件对话框, 选中刚才新建的 TEXT 文本文件, 点击保存按钮图 2.3 文件合并 : 选择目标文件 Ⅳ. 在文件合并界面下点击 4. 开始合并按钮, 弹出需要合并的文件 ( 支持多选 ) 对话框, 找到步骤 Ⅱ 中新建的 WENBEN 的文件夹, 选中该文件夹内所有的文本文件 ( 选中多个文件的方法同步骤 Ⅰ) 点击打开按钮, 进行文件合并合并完毕后, 全部从网上下载的 HTML 文件都以 TXT 形式保存到一个名为 TEXT 的文本文件之中图 2.4 文件合并 : 选择待合并文件 (2) 使用 CMD 命令实现合并在某些特殊情况下, 当 Fine Reader 软件只可以实现文件的转换, 而无法将众多 TXT 文件合并为一个文件时, 或者说有人更习惯于使用简单的 DOS 命令时, 我们可以利用 Windows 自带的 CMD 程序进行文件的合并

开始合并按钮, 弹出需要合并的文件 ( 支持多选 ) 对话框, 找到步骤 Ⅱ 中新建的 WENBEN 的文件夹, 选中该文件夹内所有的文本文件 ( 选中多个文件的方法同步骤 Ⅰ) 点击打开按钮, 进行文件合并合并完毕后, 全部从网上下载的 HTML 文

5 Ⅰ. 用 Fine Reader 软件实现文件转换, 并复制在一个新的文件夹中方法同 (1) 中步骤 Ⅰ 和步骤 Ⅱ Ⅱ. 新建一个文本文件 ( 例如, 在 D 盘上新建一个名为 TEXT 的文本文件, 路径为 D:\TEXT.TXT ) Ⅲ. 在开始中选择运行键入 CMD 点击确定, 进入 C:\WINDOWS\system32\cmd.exe 界面图 2.5 文件合并 : 用 DOS 命令 ( 启动 DOS) Ⅳ. 键入 copy+ 空格 + ( 步骤 Ⅰ 中转换后所有 *.txt 文件所在的文件夹路径, 即 D:\WENBEN\ )+*.*+ 空格 +D:\TEXT.TXT, 按回车, 即将所有的 TXT 文件合并为一个名为 TEXT.TXT 的文件中图 2.6 文件合并 : 用 DOS 命令 ( 输入 DOS 命令 ) 图 2.7 文件合并 : 用 DOS 命令 ( 输入 DOS 命令, 按回车键后 ) 或者简单一点的操作 : Ⅳ. 键入 D:, 按回车, 转到 D 盘根目录下然后键入 cd+ 空格 + WENBEN, 按回车, 进入 WENBEN 文件夹 ( 目录 ) 接着, 键入 copy+ 空格 +*.*+ 空格 +TEXT.TXT, 按回车, 即将所有的 TXT 文件合并为一个名为 TEXT.TXT 的文件中 ( 位于 WENBEN 文件夹中 )

$*+ 空格 +D:\TEXT.TXT, 按回车, 即将所有的 TXT 文件合并为一个名为 TEXT.TXT 的文件中图 2.6 文件合并 : 用 DOS 命令 ( 输入 DOS 命令 ) 图 2.$

6 图 2.8 文件合并 : 用 DOS 命令 (2) ( 三 ) 合并文本文件的处理 : 保证每个汉字一行对合并后的文本文件进行处理, 以便后续的加工处理这里主要是把文件中的每个汉字后面都加上一个回车符, 这样便于把文本中的汉字导入程序 ACCESS 中建立的数据库文件的表中我们用 UltraEdit-32 Professional Text/Hex Editor 工具软件 ( 以下简称为 UltraEdit 软件 ) 对合并好的 TEXT.TXT 文件进行处理 UltraEdit 软件是一个专业文本 / 十六进制编辑器对于规模较大的文本文件来说, 在运行速度方面,UltraEdit 软件要比 Microsoft Word 具有明显的优势 UltraEdit 软件界面如图 :

Professional Text/Hex Editor 工具软件 ( 以下简称为 UltraEdit 软件 ) 对合并好的 TEXT.

7 图 3.1 UltraEdit 软件界面图为了降低一些非汉字符的干扰, 我们首先对文件中的文本进行整理, 将所有的回车符制表符和空格删除方法如下 : 按 Ctrl+R 键调出替换对话框, 在查找内容后输入 ^P, 替换为后为空, 点击全部替换, 这样就把文本中所有的回车符删掉了同样的方法, 在查找内容中分别敲入 ^t 和空格键, 可以将文本中所有的制表符及空格删掉图 3.2 替换与插入回车符图在文件 (F) 下拉菜单中, 选中特殊功能二级菜单里的每个增量处插入字符串 ( 见图 3.2), 出现对话框 : 图 3.3 插入回车符对话框在输入要插入的字符中输入 ^p, 在插入字符串的文件增量 ( 记录长度 ) 后键入数字 1 ( 原来的默认值为 0 ), 点击确定, 即实现每个字符单独一行 ( 见图 3.3) 切记这一过程需要在 U-DOS 状态下进行 ( 要保证文件是处于 U-DOS 状态, 可以在文件 (F) 下拉菜单中, 选中转换二级菜单里的 ASCII 到 Unicode, 见图 3.4) 最后对此文件进行保存 ( 例如, 以待处理文本.txt 为文件名另存到 D 盘根目录下 )

2 替换与插入回车符图在文件 (F) 下拉菜单中, 选中特殊功能二级菜单里的每个增量处插入字符串 ( 见图 3.2), 出现对话框 : 图 3.

8 图 3.4 转换成 U-DOS ( 四 ) 汉字次数与字频统计在 ACCESS 中利用软件自带的重复查询功能统计汉字出现次数, 并计算出频率 ⑴ 打开 Microsoft Office 中的 Microsoft Office Access, 新建一个空数据库, 取名为字频统计.mdb, 创建在 D 盘根目录下在弹出字频统计 : 数据库 (Access 2000 文件格式 ) 对话框后, 点击新建按钮, 在新建表对话框中选择导入表, 点击确定按钮, 如图所示 : 图 4.1 导入文本文件中的数据将保存在 D 盘根目录下的待处理文本.txt, 按照向导提示一步步导入到一个新建的待处理文本 : 表中, 导入后的样式如图 4.2, 并记录表下方的共有记录数 ( 图 4.2 中共有记录数为 ):

mdb, 创建在 D 盘根目录下在弹出字频统计 : 数据库 (Access 2000 文件格式 ) 对话框后, 点击新建按钮, 在新建表对话框中选择导入表, 点击确定按钮,

9 图 4.2 文本数据导入成功 ⑵ 在图 4.2 状态下, 点击查询, 切换到查询视图, 点击新建按钮, 弹出新建查询对话框, 选择查找重复项查询向导, 点击确定, 按照向导提示, 将字段 1 作为重复值字段进行查找, 最后生成名为查找待处理文本的重复项的查询, 默认生成的查询是所有大于 1 的字段, 而我们想要得到文本中出现过的所有不重复汉字, 故我们点击鼠标右键, 选择 SQL 视图, 将最后一行语句 HAVING (((Count([ 待处理文本 ]. 字段 1))>1)); 改为 HAVING (((Count([ 待处理文本 ]. 字段 1))>0));, 点击运行按钮 ( 即红色感叹号 ) 待新的查询结果产生后, 将光标放在字段 NumberOfDups 上, 单击鼠标右键, 在菜单中选择 ZA ( 降序排列 ) 按钮, 即将文本中不同汉字按所出现的次数从高到低显示出来最后将结果保存 ⑶ 我们要在字频统计.mdb 数据库中新建一个名为 : 字频的表, 步骤如下 : Ⅰ. 打开字频统计 : 数据库 (Access 2000 文件格式 ) 对话框, 点击新建按钮, 在新建表对话框中选择设计视图, 点击确定按钮 ( 即在图 4.1 状态下, 将点击导入表换为点击设计视图 ) Ⅱ. 在设计视图界面下, 字段名称中由上至下依次键入 ID 字次数频率, 在各自后的数据类型中依次选择自动编号文本数字数字这些数据类型, 并将 ID 字段设为主键如图所示 : 图 4.3 新建数据表 Ⅲ. 将此表以字频为表名保存

有大于 1 的字段, 而我们想要得到文本中出现过的所有不重复汉字, 故我们点击鼠标右键, 选择 SQL 视图, 将最后一行语句 HAVING (((Count([ 待处理文本 ]. 字段 1))>1)); 改为 HAVING (((Count([ 待处理文本 ].

10 ⑷ 将 ⑵ 中保存的结果, 即查询视图下的查找待处理文本的重复项中所有内容选中 ( 按住 Ctrl 键的同时按 A 键 ), 复制粘贴到字频表中的字和次数两个字段, 对运行结果进行保存 ⑸ 在查询视图中新建一设计视图, 将字频表添加到选择查询中, 在选择查询页面中单击鼠标右键, 选择 SQL 视图, 将其中的内容改为 update 字频 set 频率 = 次数 /174558* , 为步骤 ⑴ 中共有记录数, 乘以即为频率的百万分比点击运行按钮, 结果会显示在字频表中频率一栏, 如图所示 : 图 4.4 计算出次数与频率我们统计出的结果就是所有从网站上下载的文件中所有汉字 ( 包括标点符号 ) 的出现次数和它们的出现频率 ( 五 ) 汉字累积频率统计利用前面统计得到的汉字出现次数在 EXCEL 程序中可以计算出累积字频打开 Microsoft Excel 2003, 将前面在 Access 中做出的字频表粘贴到 Excel 表中, 依次添加累积次数和累积频率两列把次数列中第一个数 ( 即 C2 中的数据 ) 复制到累积次数列下的第一个格 ( 即 E2) 中, 在 E3 中进行如下操作 : 输入 = ; 点击 C3 ; 输入 + ; 点击 E2 如图所示 : 图 5.1 计算累积次数和累积频率按回车后, 运行出结果, 将鼠标放在 E3 的右下角, 当箭头变成实心十字时拖动鼠标直至本列数据的最后一行累积次数计算完成计算累积频率在 F2 中进行如下操作 : 输入 = ; 点击 E2 ; 输入 / ; 输入累积次数列中最后一个数据, 也就是总的累积次数 ; 输入 *10000, 即得累积频率的万分比拖动鼠标, 得到字的累积频率, 根据这个数据, 我们可以分析诸如高频字的某些特点将累积次数和累积频率两列复制到 Access 中, 再将表格复制到 Word 中作为输出结果保存

11 ( 六 ) 字频统计结果下面是字频统计的部分结果 : 汉字次数频率累积频率的一是了中不在人国有我这个来他会和上为大主子们生以年地学家时对代分化到说要自也社经现出文就作着而道之发义于过方下能新得可多种知成那政民里本当面后看识制心

180593 为 2087 5106 185699 大 1952 4776 190475 主 1909 4671 195146 子 1806 4419 199565 们 1702 4164 203729 生 1694 4145 207874 以 1691 4137 212012 年 1671 4089 216100 地 1648 4032 220132 学 1602 3920 224052 家

12 三结语运用计算机可以在短时间内实现手工计算难以达到的大规模语料的字频词频等的统计工作, 为语言研究带来了很大的方便这里介绍的是我们在面对较小规模的语料时进行字频统计工作时所做的一些具体操作步骤如果进行词频的统计, 其方法类似, 而且比字频统计要简单一些因为词频统计时, 语料已经分词, 词与词之间都有分隔符, 一般是空格或斜杠, 在前面的处理字频时使得每字一行这一步骤时, 换成使得每词一行就行此时只需要把每一个分隔符 ( 空格或斜杠 ) 替换成回车符就可以了, 比做字频统计时要简单本文尝试把笔者个人在汉语研究中使用的字频统计工作做了一个图文并茂的详细介绍, 希望对汉语研究的同仁们能够有所帮助当然本文所介绍的方法显然不能适应超大规模语料库的字频词频统计工作的需要因为这需要用到专门的统计软件, 而这不是本文所能说清楚的

这一步骤时, 换成使得每词一行就行此时只需要把每一个分隔符 ( 空格或斜杠 ) 替换成回车符就可以了, 比做字频统计时要简单本文尝试把笔者个人在汉语研究中使用的字频统计工作做了一个图文

Microsoft Word - 正文.doc

Microsoft Word - 正文.doc 3 Access 3.1 SharePoint SharePoint SharePoint 3.6 1 1.15 1 3.1 3.2 1 3.1 40 Access 3.2 2 ID / 3.3 3 3.4 3.5 3.3 / 3.4 3.5 3 41 4 / 6 3.6 3.6 5 1 40 24 3.7 3.7 6 3.8 * 3.8 2 42 Access 1.16 1 3.1 / 1 3.9