テキスト内の単語頻度を分析する方法
文章を入力すると、抽出された英字ベースの単語を頻度順に集計し、各語の割合と相対バーを確認できます。ストップワードの除外と表示する上位件数も調整できます。
何を調べられるツールか
このツールは、入力した文章に含まれる英字ベースの単語を数え、出現回数の多い順に確認するためのものです。各単語について、抽出されたトークン全体に占める割合と、最も多い単語を基準にした相対バーも表示されます。記事の下書き、英文の用語確認、文章内で繰り返される語の把握などに利用できます。
入力欄を省略した場合は空の文章として扱われるため、まず集計の仕組みや表示項目を確認したいときにも使えます。日本語の文章をそのまま分析する用途では、単語の抽出条件に注意が必要です。
使い方の手順
- 分析したい文章を入力欄に貼り付けます。入力は省略できますが、その場合は空の分析になります。
- ストップワードを除外する設定を確認します。初期状態では有効で、内蔵のストップワードに該当する語は頻度集計から外れます。内容語だけを見たいときは有効のまま、対象語も含めて数えたいときは設定を切り替えて結果を比較します。
- 必要に応じて、表示する上位件数を指定します。初期値は20件です。入力した値は整数に変換され、5未満は5、100超は100として扱われます。値を指定しない場合や空の値の場合は20件が使われます。
- 分析を実行し、単語ごとの出現回数、割合、相対バーを確認します。集計対象になるのは、入力文を小文字化したうえで抽出された、ASCII英字a〜zとアポストロフィから成るトークンです。
- 必要ならストップワードの設定や上位件数を変えて再実行し、調べたい語が一覧に含まれるかを見比べます。
結果の読み方と注意点
頻度の大きい語ほど一覧の上位に並びます。割合は、その語の出現回数を抽出されたトークン総数で割って小数第2位まで丸めた値です。相対バーは、集計対象のうち最も多い語の件数と比べた値で、小数第1位まで丸められます。そのため、割合は文章全体に対する比率、相対バーは最多語との比較として読み分けます。
ストップワードを有効にした結果は、内蔵の対象語を除いた集計です。無効にした結果と順位が異なる場合は、設定の違いが原因かもしれません。また、表示件数を増やしても、抽出条件に合わない文字列が単語として追加されるわけではありません。日本語、数字、ASCII以外の文字、ハイフンを含む文字列は、一般的な言語の単語としてそのまま数えられるとは限らないため、結果は入力の表記と抽出条件を踏まえて解釈してください。
使用例
英文の記事案で繰り返し使われる用語を確認するため、段落を貼り付けて頻度順の一覧を調べます。
英文の段落を入力し、ストップワードの設定を確認して分析を実行します。上位件数を変更した場合は、表示される順位一覧を変更前と比べます。
入力した英文から抽出された単語が出現回数の多い順に並び、各行に頻度、全体に対する割合、最多語を基準にした相対バーが示されます。
制限事項
- 日本語、数字、ASCII以外の文字、ハイフンを含む文字列は、一般的な単語としてそのまま認識されるとは限りません。日本語文の語彙分析には、抽出条件との適合を確認してください。
よくある間違い
- 日本語の文章や数字を通常の単語集計と同じ感覚で貼り付けると、期待した語が一覧に出ないことがあります。英字a〜zとアポストロフィで構成された対象を使い、必要なら分析前に表記を確認してください。
よくある質問
文章を入力しなくても使えますか？
空のままでも実行できます。空の分析が成功し、合計語数とユニーク語数は0になります。
ストップワードは除外されますか？
初期状態では有効です。内蔵のストップワードに該当する語を集計から外したくない場合は、設定を切り替えてください。
表示する単語数は変更できますか？
初期値は20件です。指定値は整数に変換され、5から100の範囲に収められます。空の値などは初期値として扱われます。