Как найти самые частотные слова в тексте и исключить стоп-слова

Зачем проверять частотность слов

Счётчик частотности слов помогает увидеть, какие распознаваемые элементы повторяются в переданном тексте. Такой разбор подходит для первичной проверки англоязычного фрагмента: вы получаете упорядоченный список слов, их частоту, процентную долю и относительную полосу. Перед началом проверьте состав материала. Инструмент переводит ввод в нижний регистр и выделяет последовательности только из латинских букв от a до z и апострофов. Русские буквы, цифры, знаки препинания и дефисные фрагменты не распознаются как цельные слова. Поэтому результат для кириллического текста может оказаться пустым или неполным, даже если сам фрагмент был введён без ошибки.

Текст можно вставить в поле или не вводить вовсе. Пустой либо пропущенный ввод обрабатывается успешно и даёт нулевые значения общего и уникального числа слов. Для содержательного списка нужен фрагмент, в котором есть подходящие латинские последовательности. Фильтр стоп-слов включён по умолчанию; при таком режиме элементы из встроенного набора не попадают в подсчитанные частоты.

Как провести подсчёт

Подготовьте фрагмент с латинскими словами. Если вы анализируете русский материал, учитывайте, что кириллические последовательности не выделяются. Отдельно проверьте числа, дефисы и знаки препинания: они не превращаются в цельные токены вместе с соседними символами. Апостроф может входить в распознаваемую последовательность, поэтому формат исходного текста имеет значение.
Вставьте подготовленный текст в поле ввода. Поле необязательно, однако без содержимого инструмент выдаст успешный пустой анализ с нулевыми значениями. Для проверки повторов используйте фрагмент с несколькими распознаваемыми словами, а не только заголовок или строку из символов, которые не подходят для выделения.
Решите, как учитывать стоп-слова. При включённом фильтре слова из встроенного набора исключаются из частот. Оставьте настройку включённой, если хотите сосредоточиться на словах вне этого набора. Отключите её, когда вам нужно сопоставить распределение с результатом без такого исключения.
При необходимости измените число позиций в списке. Настройка по умолчанию показывает 20 позиций. Значение, которое удаётся преобразовать в целое число, ограничивается диапазоном от 5 до 100. Ложное значение возвращает настройку 20, поэтому для небольшого списка задайте число не ниже 5, а для расширенного перечня не выше 100.
Запустите обработку и изучите полученные записи. Каждый токен, оставшийся после выбранного фильтра, подсчитывается отдельно, а строки располагаются от большей частоты к меньшей. Приведение к нижнему регистру не объединяет разные формы слова по смыслу или грамматической основе, если они выделены как разные последовательности.
Сопоставьте два дополнительных показателя. Процент получают делением числа вхождений слова на общее число извлечённых токенов; значение округляется до двух знаков. Относительная полоса сравнивает частоту с наибольшей сохранённой частотой и округляется до одного знака. Процент показывает долю в наборе, а полоса облегчает сравнение с лидирующей записью.

Как понимать показатели

Сначала посмотрите на общее число извлечённых токенов, затем сопоставьте его с частотными строками. Большая частота означает большее число вхождений среди элементов, которые прошли выбранный режим фильтрации. Процент помогает оценить вклад отдельного слова в общий набор извлечённых токенов, а относительная полоса показывает его соотношение с наиболее частотной сохранённой записью. Эти показатели описывают разные стороны одного подсчёта.

При чтении округлённых значений учитывайте их формат: процент имеет два знака после запятой, а относительная полоса один. Из-за округления близкие результаты могут выглядеть одинаково или отличаться незначительно, поэтому для вывода о частотности ориентируйтесь прежде всего на порядок записей и сами значения счётчика.

Если список оказался пустым, проверьте алфавит исходного фрагмента и состояние фильтра. Для русского текста отсутствие распознанных слов может объясняться тем, что инструмент выделяет латинские буквы и апострофы, а не кириллицу. Если после фильтра осталось меньше строк, чем ожидалось, часть слов могла попасть во встроенный набор стоп-слов.

Результат представляет частотный разбор выделенных токенов, а не анализ смысла текста. Счётчик не объединяет близкие по значению, написанию или грамматической форме варианты, если они распознаны отдельно. При изменении фильтра состав списка меняется, поскольку в подсчёте участвует другой набор сохранённых элементов.

Практический пример

Редактор проверяет небольшой англоязычный фрагмент, чтобы увидеть повторяемость слова blue и сравнить его показатели с другими распознанными токенами.

Вставьте фрагмент blue sky blue cloud, оставьте фильтр стоп-слов включённым и запустите анализ, чтобы затем просмотреть упорядоченные записи и их показатели. При таком действии повторяющийся токен будет сопоставлен с остальными распознанными словами по частоте и относительной полосе.

После обработки появится список сохранённых токенов, упорядоченный по частоте, с числом вхождений, процентом до двух знаков и относительной полосой до одного знака. Из 4 извлечённых токенов самым частым будет blue с 2 вхождениями.

Ограничения

Подсчёт относится к распознанным латинским токенам и зависит от режима стоп-слов; кириллица, цифры и дефисные фрагменты не считаются цельными словами, а разные формы не объединяются автоматически.

Частые ошибки

Если после вставки кириллического текста список пуст, проверьте поддерживаемые символы и повторите проверку на фрагменте с латинскими словами. Русские буквы, цифры и дефисы не следует считать цельными распознаваемыми токенами.

Частые вопросы

Можно ли анализировать русский текст?

Такой анализ возможен только для последовательностей из латинских букв от a до z и апострофов. Кириллические слова не распознаются как цельные токены, поэтому для русского фрагмента список может не содержать ожидаемых слов.

Что меняет фильтр стоп-слов?

При включённом режиме элементы из встроенного набора стоп-слов не участвуют в подсчёте частот. Настройка включена по умолчанию, а её отключение позволяет получить другой состав частотных записей для того же текста.

Сколько слов отображается в списке?

По умолчанию список рассчитан на 20 позиций. Преобразуемое в целое число значение ограничивается диапазоном от 5 до 100, тогда как ложное значение снова использует 20 позиций. Такой диапазон задаёт размер выдаваемого перечня.