如何统计英文文本的词频并查看高频词占比
粘贴文本后执行分析,即可查看按频率排序的词、占比和相对条形值。要比较结果,请同时确认停用词过滤和高频词数量设置。
先了解它适合分析什么
这款工具用于查看一段文本中哪些词出现得更频繁,并把保留下来的词按出现次数排序,同时显示每个词占提取词元总数的百分比和相对条形值。你可以把它用于英文文章初步检查、内容整理或比较一段文字里的高频表达。输入文本不是必填项;留空时,工具会完成一次空分析,并返回为零的总词数和不同词数。
按步骤统计词频
- 准备一段文本并粘贴到输入框。若不提供文本,工具会按空字符串处理,因此也可以先用空输入确认结果结构。
- 根据需要决定是否启用停用词过滤。该选项默认开启;开启后,内置停用词集合中的词不会进入频率统计。若你想观察这些词本身的出现情况,请关闭过滤。
- 设置要查看的高频词数量。默认值为 20;可转换为整数的设置会被限制在 5 到 100 之间,空值等无效值则使用 20。
- 执行分析并查看结果。工具会先将输入内容转换为小写,再提取由英文字母 a 到 z 和撇号组成的词元。随后,保留下来的词会按出现次数从高到低排列。
- 对照结果中的总词数、不同词数、词频列表、百分比和相对条形值。若修改文本、停用词选项或高频词数量,重新执行分析后再比较结果。
如何解读分析结果
总词数反映提取到的词元数量,不同词数反映不同词元的数量。某个词的百分比按照该词出现次数除以提取词元总数计算,并四舍五入到小数点后两位;相对条形值则把该词的次数与保留下来的最高次数进行比较,并四舍五入到小数点后一位。因此,百分比适合观察某个词在整段输入中的占比,条形值适合快速比较榜单内部的相对高低。
停用词过滤会改变频率列表中的保留内容,所以比较两次结果时,应保持过滤状态一致。高频词数量只影响展示范围,不应把榜单末尾没有出现理解为该词在原文中一定没有出现。空输入则是一次成功的空分析,结果中的总词数和不同词数为零。
使用示例
你正在检查一条英文短句中重复出现的词,并希望同时看到频率排序和相对占比。
将英文句子“Cats chase cats.”粘贴到输入框,保持默认设置并执行分析,然后查看词频列表及其附加指标。
结果应包含总词数、不同词数,以及按出现次数排序的词频条目;每个保留词还应有百分比和相对条形值。在 3 个提取词元中,最高频的是 “cats”,出现 2 次。
使用限制
- 它的词元识别规则面向 ASCII 英文字母和撇号,不是通用的 Unicode 分词器;中文、数字、非 ASCII 字母、标点及连字符文本不能按完整词识别。
常见错误
- 如果把中文、数字、连字符词或含其他非 ASCII 字符的内容直接当作完整词来统计,结果可能与预期不同。请改用符合英文字母 a-z 和撇号规则的文本,或先整理输入内容。
常见问题
可以用中文文本统计词频吗?
可以,但工具只会提取由 ASCII 英文字母 a-z 和撇号组成的词元,并先将文本转为小写;中文、数字、非 ASCII 字符和连字符文本不会按完整词识别。
能否排除或保留停用词?
可以。停用词过滤默认开启,启用时内置停用词集合中的词会从频率统计中排除;关闭后,这些词也可进入统计。
高频词榜单能显示多少个词?
可以。高频词数量默认是 20,可转换为整数的设置会被限制在 5 到 100 之间;空值等无效值会回到 20。