テキスト内の単語頻度を分析する方法

単語頻度を調べる前に

このツールは、入力したテキストに含まれる単語を数え、出現回数の多い順に確認するためのものです。ストップワードの除外、短いトークンの除外、表示件数の調整に対応しているため、記事の下書きや英語テキストの語彙傾向を手早く把握したい場合に役立ちます。なお、解析前にテキストは小文字化され、ASCII英字・空白・アポストロフィ以外の文字は空白に置き換えられます。日本語の文章をそのまま単語分析する用途には向きません。

操作手順‌

解析したいテキストを入力欄に貼り付けます。入力を省略することもできますが、その場合は単語エントリーがなく、合計も0になります。
必要に応じて、ストップワードの除外を切り替えます。初期状態では有効で、最小長の条件を通過した後に組み込みのストップワードが除外されます。
最小トークン長を指定します。初期値は3文字で、指定値は整数に変換され、1未満にはできません。値が未指定または無効な状態として扱われる場合は3が使われます。
表示する単語数の上限を指定します。初期値は30件で、整数に変換された後、5件から100件の範囲に収められます。
解析を実行します。残ったトークンを数え、出現回数の降順で、設定した上限まで表示します。

結果の読み方

結果の各単語には、残ったトークン全体に対する割合と、相対的なバーの値が表示されます。割合は小数点以下2桁、バーの値は小数点以下1桁に丸められます。また、除外後のトークン総数と、異なる単語の数も確認できます。

表示された順位は、元の文章に登場した単語の順位とは限りません。ストップワードや最小長未満のトークンは集計対象外で、表示上限より多くの異なる単語が残る場合は一部だけが表示されます。数字、句読点、ASCII英字以外の文字は正規化で置き換えられるため、結果を読むときは入力形式も確認してください。

使用例

英語の短い商品レビューから、繰り返し使われた単語を確認したい場面です。

英語テキスト「Cats, cats, dogs!」を入力し、初期設定のまま解析を実行します。

結果には cats と dogs が出現回数の降順で並び、各単語の割合は小数点以下2桁、相対バーの値は小数点以下1桁で示されます。あわせて、残ったトークン総数と異なる単語数も確認できます。残った3トークンのうち最も多いのは cats で、2回出現します。

制限事項

数字や句読点、ASCII英字以外の文字は正規化で置き換えられます。さらに、ストップワード、最小長未満のトークン、表示上限を超えた単語は結果に反映されない場合があります。

よくある間違い

表示件数や最小長に任意の文字列を入れると、整数へ変換できず処理に失敗する場合があります。数値として入力し、表示件数は5から100、最小長は1以上になるように設定してください。

よくある質問

テキストを入力しなくても使えますか？

入力を省略しても解析は成功しますが、単語エントリーはなく、合計トークン数と異なる単語数は0になります。

ストップワードは最初から除外されますか？

初期状態ではストップワードの除外が有効です。無効にすると、最小長の条件を通過したストップワードも集計対象になります。

日本語の文章を単語分析できますか？

日本語の文字は解析対象のASCII英字として残らず、正規化時に置き換えられるため、日本語文の単語頻度を調べる用途には適しません。