SEO для роботов

Забавное наблюдение. За последние пару месяцев неплохо вырос доход в ГГЛ/Мирке. Видимо по мере проблем с поведенкой, бюджеты перетекают с накрутки на ссылочное.

CloudFlare и гэмблинг сайты. Уже около года судя по чатам и опыту коллег, на сетки сайтов, либо крупные афф проекты прилетают письма счастья от CF с пометками «Срочно» итд. После общения с «менеджерами по развитию» или «менеджерами отвечающими за гэмблинг», прилетает предложение сменить тариф на индивидуальный с оплатой +/- 10 000$/месяц. При этом окончательная сумма не зафиксирована. При отказе - блок аккаунта. И вот первый раз, судя по статье на хабре (R2B), в общественном поле, появилась инфа о подобных проблемах не у аффа, а у продукта. Почитать можно по ссылке, а в конце статьи автор дает неплохие советы (вынес в скриншот).

Утечка внутренней документации Гугл. Часть 3: Контент. Ограничение длины документов Существует максимальное количество символов, которые могут быть учтены для документа в системе Mustang. Это подчеркивает важность размещения самого важного контента в начале документа. Оценка короткого контента за оригинальность Метрика OriginalContentScore указывает на то, что короткий контент оценивается за оригинальность. Поэтому качество контента не всегда зависит от его длины. В то же время существует метрика для выявления переизбытка ключевых слов (keyword stuffing). Значимость заголовков страниц Метрика titlematchScore показывает, что Гугл все еще оценивает, насколько хорошо заголовок страницы соответствует запросу пользователя. Рекомендуется размещать целевые ключевые слова в начале заголовка. Отсутствие порога символов в Title/Desc В документации нет метрик, учитывающих длину мета тегов. Единственная мера подсчета символов — snippetPrefixCharCount, которая определяет, что может быть использовано в качестве части сниппета. Это подтверждает, что длинные заголовки страниц не оптимальны для кликов, но они могут помогать в ранжировании. Авторы. Гугл хранит авторов в привязке к документу, а также пытается связать является ли сайт(компания) опубликовавший статью ее автором. Все это показывает, что существует некая метрика измеряющая автора документа. Значимость дат Гугл уделяет большое внимание свежести результатов, и документы иллюстрируют многочисленные попытки ассоциировать даты с страницами: bylineDate: Явно указанная дата на странице. syntacticDate: Извлеченная дата из URL или заголовка. semanticDate: Дата, полученная из содержания страницы. Рекомендуется указывать дату и быть последовательным в её указании в структурированных данных, заголовках страниц и XML-картах сайта. Несоответствие дат в URL и других частях страницы может негативно повлиять на производительность контента. Регистрация домена Гугл хранит информацию о последней регистрации домена на уровне составного документа. Это подтверждает теорию о том, что статус Гугл как регистратора влияет на алгоритм. Применение: Используется для "песочницы" нового контента и доменов, которые изменили владельца. Недавнее обновление: Вес этой информации мог быть увеличен с введением политики против злоупотребления истекшими доменами. Видео контент Сайты, на которых более 50% страниц содержат видео, считаются видео-ориентированными и обрабатываются по-особому. Оценка Your Money Your Life (YMYL) Гугл имеет классификаторы, генерирующие оценки для YMYL Health и YMYL News. Они также предсказывают "пограничные запросы", чтобы определить, относятся ли они к YMYL. Векторизация сайтов и страниц Гугл векторизует страницы и сайты, сравнивая векторные представления страниц с векторными представлениями сайтов, чтобы определить, насколько страница выходит за пределы основной темы. Метрики: siteFocusScore оценивает, насколько сайт придерживается одной темы, а site radius - насколько страница выходит за пределы основной темы. Мелкие сайты могут целенаправленно понижаться Гугл имеет флаг, указывающий, является ли сайт "маленьким личным сайтом". Хотя нет определения таких сайтов, они могут быть понижены или повышены с помощью Twiddlers.

Утечка внутренней документации Гугл. Часть 2: Ссылки + Пессимизации. Ссылки все еще важны На данный момент нет доказательств того, что ссылки стали менее важными. Влияние уровня индексации на ценность ссылок Показатель sourceType указывает на связь между местом хранения страницы в индексе Гугл и её ценностью. Индекс Гугл разделён на уровни: -Флэш-память: наиболее важный и регулярно обновляемый контент. - Твердотельные накопители: менее важный контент. - Жёсткие диски: нерегулярно обновляемый контент. Чем выше уровень, тем ценнее ссылка. "Свежие" страницы также считаются высококачественными. Поэтому ссылки с высокоранжируемых страниц и новостных ресурсов имеют больший вес. Сигналы скорости появления спам-ссылок Гугл отслеживает всплески спам-анкоров с помощью метрики phraseAnchorSpamDays, что позволяет измерять скорость появления спам-ссылок. Это помогает идентифицировать спам-атаки и не учитывать негативные SEO-атаки. Анализ последних 20 изменений URL Гугл хранит все версии страниц, но для анализа учитывает только последние 20 изменений. Это значит, что для "обнуления" страницы нужно изменить её и проиндексировать не менее 20 раз. Влияние PageRank главной страницы Каждый документ имеет связанный PageRank морды (Nearest Seed version). Это используется как прокси для новых страниц до тех пор, пока не будет рассчитан их собственный PageRank. Траст главной страницы Гугл оценивает ссылку на основе общего траста морды. Поэтому важно сосредоточиться на качестве и релевантности ссылок, а не на их количестве. Размер шрифта терминов и ссылок Гугл отслеживает средний вес шрифта терминов и анкорных текстов. Размер шрифта может влиять на важность терминов и ссылок. Влияние Penguin на внутренние ссылки Многие внутренние ссылки могут не учитываться, что следует из метрики droppedLocalAnchorCount. Отсутствие упоминаний о Disavow Данные о Disavow могут храниться в другом месте, но в данной API они не упоминаются. Это может указывать на то, что Disavow используется для обучения классификаторов спама. Алгоритм Панда. Приведу здесь свою вольную трактовку перевода: “Очень качественный контент позволяет нам получать больше кликов и видимости по релевантным запросам, а больше кликов и видимости на документе позволяют нам смелее спамить в анкорах и ссылках.” Пессимизация. Автор выделил несколько типов. - Несоответствие ссылки целевому сайту (Гугл ищет релевантность как на доноре, так и на акцепторе) - Понижение в SERP. Сигнал, указывающий на понижение страницы на основе факторов, наблюдаемых в SERP, вероятно, измеряется кликами и удовлетворением пользователя результатом. - Понижение навигации - Предположительно, это понижение, применяемое к страницам имееющим проблемы с пользовательским опытом. - Понижение EMD. В 2012 году Мэтт Каттс объявил, что точные соответствия доменов (Exact Match Domains) больше не будут получать такое же значение, как раньше. - Понижение обзоров продукта. Нет конкретной информации, но, вероятно, связано с обновлением обзоров продуктов в 2023 году. - Понижение местоположения. Указывается, что "глобальные" и "супер-глобальные" страницы могут быть понижены. Гугл пытается связать страницы с определенным местоположением и ранжировать их соответственно. - Порно понижение.

Утечка внутренней документации Гугл. Часть 1: Мифы + поведенка + Twiddlers. Все уже увидели, что слили документацию Гугла. Кому лень читать всю - я сделал для себя выдержку разбора, делюсь с вами. В документации описано 2,596 модулей API, содержащих 14,014 атрибутов (функций). Все модули связаны с компонентами YouTube, Google Assistant, Google Books, видео-поиском, ссылками, веб-документами, инфраструктурой для сбора данных, внутренней календарной системой и People API. Очень часто документация ссылается на страницы, которые являются URL-адресами внутренней сети Гугл и требуют учетных данных Гугл для доступа. Без доступа к этим страницам остаётся только интерпретировать доступную информацию самостоятельно. Представители Гугл намеренно вводят в заблуждение пользователей и специалистов относительно работы своих систем. Вещи заявленные как не рабочие - работают. Основной пример “Авторитет домена” ("siteAuthority") - используется в системе ранжирование. Утверждалось обратное. Заявленное “Не использования кликовых (поведенческих) факторов” для ранжирования, также опровергнуто. С 2005 года используется система Navboost, которая использовала кликовые данные собранные за последние 18 месяцев. С недавнего времени - 13 месяцев. Инженер Гугл Paul Haahr заявлял, что “использование в ранжировании кликов непосредственно на поисковой выдаче - было бы ошибкой”. При этом Navboost имеет модуль полностью заточенный под “показы и клики”. Данный модуль включает в себя: плохие клики, хорошие клики, последние длинные клики, unsquashed clicks, а также unsquashed last longest clicks. Под словом “Squashing” согласно патенту Гугла мы подразумеваем функцию, которая не позволяет одному большому сигналу доминировать над другими. Другой модуль с индексацией сигналов имеет метрику “Последний хороший клик”, метрика которая может указывать на неактуальность контента на странице. Гугл считает и хранит общее количество плохих кликов и сегментирует их по странам и устройствам. Здесь я немного поспорю с автором. Если мы говорим о вышеперечисленном, то проводя аналогию с Яндексом, все это факторы поведенки внутри сайта, но не СЕРП. Поэтому заявление Paul Haahr’а все еще имеет смысл. Все указывает на то, что NavBoost "уже является одним из самых сильных сигналов рейтинга Гугл". В утечке присутствует 84 упоминания Navboost и 5 модулей с Navboost в названии. Также есть сведения о том, что для поддомена/морды/внутр урла действует своя формула расчета. Миф о “песочнице” - развеян. В модуле “PerDocData” имеется атрибут “hostAge” направленный исключительно для помещения в песочницу свежих спам сайтов в целях защиты выдачи. Миф “мы не используем ничего из Гугл Хром для ранжирования”. Один из модулей использует статистику посещений из Хром, также атрибут Гугл Хром есть в модуле связанном со ссылками. В документации вводится понятие “Twiddler”. Twiddlers - это функции, которые изменяют ранжирование результатов поиска после работы основного алгоритма Гугл. Они работают подобно фильтрам на странице, изменяя отображаемый контент прямо перед его показом пользователю. Основные функции Twiddlers: Изменение ранжирования: Корректируют баллы и позиции документов в результатах поиска. Категорийные ограничения: Ограничивают количество результатов определенного типа, например, до трех блогов на одной странице выдачи. Эксперименты и Boost-системы: Многие системы, такие как Panda, начинали как Twiddlers и позже интегрировались в основной алгоритм. Примеры Boost-систем: NavBoost: Улучшает навигационные результаты. QualityBoost: Повышает качество результатов. RealTimeBoost: Обрабатывает результаты в реальном времени. WebImageBoost: Оптимизирует результаты для веб-изображений.

Если порассуждать о судьбе сео специалистов и поисковых систем, то год за годом происходит естественное вымывание из нашей ниши «среднего» специалиста и «среднего» сайта под продвижение. Десяток лет назад, хороший специалист беря в работу в средний проект, мог довольно продуктивно поработать с ним даже при минимальных бюджетах и временных затратах. Одновременно можно было вести 3-5 (а кто-то и 10) средних проектов, без напряга и с довольно предсказуемым положительным результатом. Сейчас, беря в работу «средний» сайт, вне зависимости от компетенций специалиста, максимальный результат будет также «средний». Думаю, что маркетплейсы успешно продолжат заменять «средние» е-ком проекты, а «средние» сео спецы переквалифицироваться в спецов по маркетплейсам или диджитал маркетологов более широкого спектра. Либо работать тупо на отчеты в сео галерах без какой либо перспективы. Неочевидным, но очень большим минусом работы со «средним» сайтом (особенно инхаус/фриланс), может быть отсутствие положительного (и наличие негативного) подкрепления. Ты можешь быть очень талантливым спецом, но результаты гипотез на условном Ozon или Сравни.ру, будут кардинально отличаться от результатов гипотез на kupi-stan0k.ру или ооо-конус2000.ком. Приправим это тем фактом, что владельцем подобного ооо-конуса, может быть ебанько, который 10 лет назад прописал мета кейвордс, по воле случая залетел в топ на годик-другой и с тех пор считает необходимым самолично инструктировать каждого сео специалиста. По итогу, хорошим спецам и новичкам которые хотят расти как профессионально, так и материально, остается два пути: 1) Идти работать в «жирный хост», либо в новый проект который будет обречен стать тем самым «жирным хостом». Большие бюджеты/большая медийка/большой тайп ин - секрет успеха большинства текущих проектов. 2) Начинать работу над своими проектами. Выбирать ниши, делать анализ офферов в пп, анализ поисковой выдачи и превращать свою работу в поточное производство. Не носиться с каждым сайтом как с писаной торбой, а воспринимать его как инструмент для зарабатывания денег. Пошел трафик - отлично. Не пошел трафик - продай на ауке. Не продал на ауке - используй под ПБН, продавай ссылки. Продал ссылки - сделай курс как заработать на продаже ссылок. Больше сайтов/больше ниш - больше возможностей для монетизации. Возможно пост получился довольно смутным, но он навеян ребятами из чатиков которые из года в год задают одинаковые вопросы, которые отпали бы сами собой, будь у них в распоряжении не «10 тысяч рублей на ссылки в месяц и ебанько прописавший кейворды», а профессиональная команда/большие бюджеты или практический опыт работы с большим количеством сайтов здесь и сейчас. Средний проект - средний результат - крест на профессиональном развитии.

Уже месяц у меня трясет выдачу Яндекса почти по всем сайтам (белый Еком/афф, серыеРКН). Трясет и новые сайты (месяц-два), и старые (1-5 лет). Почти все сайты довольно узконаправленные, не более 100 страниц. Новые сайты в довольно НК нише. Если проводить градацию по тому какие сайты и как себя чувствуют, то в порядке возрастания эффективности это будет: 1) Новые сайты с подливом поведенки. Данные персонажи чувствуют себя хуже всего. После индексирования и получения позиций в топ 20-100, начинаем крутить и получаем вылет. 2) Старые сайты с позициями за топ 20 и подливом поведенки. Здесь тоже самое, либо вылет, либо ноль реакции. 3) Новые сайты без подлива поведенки. Здесь на удивление все неплохо. Идеальная картина - сайт отранжировался в топ 20-50, потихоньку дополз то топа и там закрепился. 4) Старые сайты стоявшие в топ 1-20 с подливом поведенки. Здесь, при накрутке, те же профиля которые выбивают позиции новорегов, либо отрабатывают в плюс, либо не дают никакой реакции. Без накрутки - бывает, что выбивает позиции на 1 день, после возвращает на +/- теже. 5) Старые сайты стоявшие в топ 1-10 без налива поведенки. Здесь идеальная картина. Есть ощущение, что Яндекс обнулил хостовые ПФ для того кластера профилей которые он посчитал ботами, потому что большая часть моих сайтов болтавшихся на естественных кликах в топ 3-10 и получавших свои копейки «живого трафика», в конце марта влетели в топ 3 и закрепились там. Дополню пост несколькими скринами с топвизора, на который, увы, я уже перестаю ориентироваться (разве что общая картина). Более адекватную картину можно увидеть через ЯВМ, но если крутите, то единственной рациональной метрикой сейчас является количество лидов.

Те кто работает в серых нишах рунета должно быть заметили, что с 4 числа перестали обновляться базы РКН. https://github.com/zapret-info/z-i https://reestr.rublacklist.net/ru/ Временная ли это история или нет - пока непонятно. Цитируя «Коммерсантъ»: «По мнению источников издания, блокировка сайтов теперь осуществляется с помощью оборудования ТСПУ (технические средства противодействия угрозам), которое устанавливается на сетях операторов. Важное отличие реестровых блокировок в их публичности. Раньше можно узнать кто, когда и иногда по каким мотивам принял решение о блокировке, и ее возможно оспорить в суде по существу. Когда работает ТСПУ, то даже сами операторы связи не знают деталей.»

В последнее время, увы, не знаю о чем писать. Обсуждать изменения выдачи в момент апдейтов в G/изменений в Яндексе - никогда не было моим любимым занятием. Мое любимое занятие во время шторма выдачи - расслабиться и ничего не делать, ибо всегда есть большая вероятность отката. Второе мое любимое занятие - это масштабирование. Проектов/тематик/способов монетизации. В этом случае в моменты изменений выдачи, всегда есть вероятность того, что выстрелит часть старых сайтов. К моему удивлению это случилось пару недель назад в Я во время проблем с поведенкой. Часть проектов которые никогда не крутились, но имели достаточный возраст в данной тематике - неожиданно вышли в топ. Ну и чтобы пост был не совсем бесполезным - порекомендую вакансию выше. Мне очень импонирует подход автора канала к бизнесу и межличностным отношениям.