TF-IDF: что это такое и как использовать TF-IDF для семантического анализа текста в SEO

TF-IDF (Term Frequency × Inverse Document Frequency) представляет собой метод, оценивающий важность слова в тексте с учетом его частоты и распространенности:

• TF (Term Frequency): частота слова, показывающая, сколько раз слово встречается в документе относительно его общего объема. Например, если слово повторяется 2 раза в тексте из 8 слов, TF = 2/8 = 0,25.
• IDF (Inverse Document Frequency): обратная частота документа, уменьшающая вес часто встречающихся слов в коллекции текстов.

TF-IDF не просто считает количество вхождений, а учитывает длину текста и редкость слова. Например, 2 вхождения слова в документе на 100 слов дают больший TF-IDF, чем те же 2 вхождения в тексте на 150 слов.

Простыми словами, TF-IDF показывает, насколько слово важно для документа и релевантно поисковому запросу. Это один из ключевых факторов ранжирования в поисковых системах, влияющий на позиции страницы.

Как использовать TF-IDF

TF-IDF помогает оптимизировать страницы для SEO.

Его результаты применяются для:

• Составления ТЗ для копирайтера: указание количества и типа ключевых слов.
• Подбора тематических слов: выявление синонимов и связанных терминов.
• Исправления переоптимизации: уменьшение избыточных вхождений ключей.

Например, если страница не в топе, но качественна по другим параметрам, корректировка TF-IDF может повысить позиции. Поисковики (Яндекс, Google) оценивают релевантность текста по ключам и их весу. Метод работает для любого языка, помогая, например, избегать переспама ключей (keyword stuffing) в англоязычном контенте.

Формула расчета TF-IDF

Для расчета нужны два параметра:

• Количество вхождений слова (подсчитывается в редакторах, таких как Word или Google Docs).
• Общий объем текста (определяется автоматически в тех же редакторах).

Формула TF:

TF = (Количество вхождений слова) / (Общий объем текста в словах)

Формула IDF (для ограниченной коллекции текстов):

• Рассчитайте DF (Document Frequency): количество документов с искомым словом, деленное на общее число документов.
• IDF = 1 / DF.

Для упрощения расчета используйте онлайн-калькуляторы, такие как calculatorlib.com/ru/tf-idf-calculator, куда достаточно вставить текст и указать ключевое слово. Также сервисы вроде Монстр Оптимизации (доступен участникам SEO Гильдии) автоматизируют процесс.

Пример расчета TF-IDF

Рассмотрим расчет для ключевых слов: «переработанный пластик», «пластик», «вторичный пластик». Для примера возьмем три заголовка:

• Переработанный пластик: купить оптом Москва (5 слов).
• Переработанный пластик: купить пластик от производителя (6 слов).
• Переработанный пластик: купить вторичный пластик дешево (6 слов).

Шаг 1. Расчет TF

Считаем частоту слов, игнорируя нерелевантные (например, «купить»):

• Пластик: встречается в заголовках 2 и 3 (1 раз в каждом).
• Переработанный: в каждом заголовке (1 раз).
• Вторичный: только в заголовке 3 (1 раз).

TF для каждого слова:

• Заголовок 1: TF(переработанный) = 1/5 = 0,2; TF(пластик) = 0/5 = 0.
• Заголовок 2: TF(переработанный) = 1/6 ≈ 0,167; TF(пластик) = 1/6 ≈ 0,167.
• Заголовок 3: TF(переработанный) = 1/6 ≈ 0,167; TF(пластик) = 1/6 ≈ 0,167; TF(вторичный) = 1/6 ≈ 0,167.

Шаг 2. Расчет DF и IDF

DF = (Количество документов со словом) / (Общее число документов, т.е. 3):

• DF(пластик) = 2/3 ≈ 0,667.
• DF(переработанный) = 3/3 = 1.
• DF(вторичный) = 1/3 ≈ 0,333.

IDF = 1 / DF:

• IDF(пластик) = 1/0,667 ≈ 1,5.
• IDF(переработанный) = 1/1 = 1.
• IDF(вторичный) = 1/0,333 ≈ 3.

Шаг 3. Расчет TF-IDF

TF-IDF = TF × IDF:

• Заголовок 1: TF-IDF(переработанный) = 0,2 × 1 = 0,2; TF-IDF(пластик) = 0 × 1,5 = 0.
• Заголовок 2: TF-IDF(переработанный) = 0,167 × 1 ≈ 0,167; TF-IDF(пластик) = 0,167 × 1,5 ≈ 0,25.
• Заголовок 3: TF-IDF(переработанный) = 0,167 × 1 ≈ 0,167; TF-IDF(пластик) = 0,167 × 1,5 ≈ 0,25; TF-IDF(вторичный) = 0,167 × 3 ≈ 0,5.

Шаг 4. Для фраз

Для фразы «переработанный пластик» складываем TF-IDF слов:

• Заголовок 1: 0,2 + 0 = 0,2.
• Заголовок 2: 0,167 + 0,25 ≈ 0,417.
• Заголовок 3: 0,167 + 0,25 ≈ 0,417.

Для фразы «вторичный пластик» (только заголовок 3): 0,5 + 0,25 = 0,75.

Вывод: заголовки 2 и 3 наиболее релевантны для «переработанный пластик», а заголовок 3 лучше всего подходит для «вторичный пластик».

Стоит ли использовать TF-IDF в SEO

TF-IDF остаётся важным инструментом SEO-копирайтинга для создания и оптимизации контента. Он помогает:

• Точно рассчитать количество ключей.
• Найти тематические слова.
• Исправить переоптимизацию.

Однако идеальные показатели TF-IDF не гарантируют топовые позиции. Текст должен быть полезным, структурированным и отвечать на запрос пользователя. Сочетайте TF-IDF с качественным контентом и анализом конкурентов, чтобы повысить релевантность и эффективность страниц.

Нужна помощь специалистов? Возьмём эту работу на себя: внутренняя оптимизация сайта. Начнём с бесплатного аудита сайта и прогноза трафика.