Dart: Product SEO Engineer

Несколько лет назад, когда я плотно занимался дорвеями, пик трафика стабильно приходился на периоды Core Update. Смотрю, и ничего не меняется. Вот и сейчас, по некоторым запросам случаются дни, когда доры оккупируют больше половины SERP'а. :D Конечно, после завершения апдейтов нередко вылетала значительная часть сетки, но это уже нюансы..нюансы...

О слепых зонах Ahrefs и Semrush в оценке органики Ключевое ограничение Ahrefs, Semrush заключается в том, что их модели оценки органического трафика построены на анализе классической Web-выдачи. Они берут запросы, их частотность и позиции сайта, но игнорируют другие мощные источники органики — Images, Videos и другие вкладки выдачи. Это создает искаженное представление о реальной стратегии и успехе конкурента. Наглядный кейс: Трафик из видео В рамках моего исследования Adult-выдачи в США в 2024-м году (на базе 400к+ англоязычных запросов) сайт letmejerk.com продемонстрировал интересный феномен. Он занял 7-е место по видимости в видео-выдаче. Ahrefs показывал очень скромные для Adult цифры в 820к органики. Similarweb, который рассчитывает трафик на основе кликстрима (данных о реальном поведении пользователей), фиксировал 14M ежемесячных визитов, где органика была 81% от входящего трафика. Вывод и решение: Комплексный подход Чтобы получить объективную оценку, не доверяйте слепо одному источнику данных. Используйте многоуровневый подход: Ahrefs — для глубокого анализа видимости именно в веб-поиске, отслеживания динамики позиций, анализа семантического ядра и ссылочного профиля. Similarweb — для оценки общего трафика и проверки гипотез. Если его данные по органике сильно превосходят показатели Ahrefs, вы, вероятно, нашли сайт, который эффективно использует для привлечения пользователей из Images, Videos или другой вкладки Google. Как альтернатива внутри Semrush: сравните данные из отчета Organic Search (веб-выдача) с данными из Traffic Analytics, Sources & Destinations (кликстрим). Большая разница между ними также укажет на скрытый трафик из неосновных вкладок выдачи. Такой подход позволяет не упустить из виду конкурентов, чья стратегия построена не на доминировании в Web поиске.

О слепых зонах Ahrefs и Semrush в оценке органики Ключевое ограничение Ahrefs, Semrush заключается в том, что их модели оценки органического трафика построены на анализе классической Web-выдачи. Они берут запросы, их частотность и позиции сайта, но игнорируют другие мощные источники органики — Images, Videos и другие вкладки выдачи. Это создает искаженное представление о реальной стратегии и успехе конкурента. Наглядный кейс: Трафик из видео В рамках моего исследования Adult-выдачи в США в 2024-м году (на базе 400к+ англоязычных запросов) сайт letmejerk.com продемонстрировал интересный феномен. Он занял 7-е место по видимости в видео-выдаче. Ahrefs показывал очень скромные для Adult цифры в 820к органики. Similarweb, который рассчитывает трафик на основе кликстрима (данных о реальном поведении пользователей), фиксировал 14M ежемесячных визитов, где органика была 81% от входящего трафика. Вывод и решение: Комплексный подход Чтобы получить объективную оценку, не доверяйте слепо одному источнику данных. Используйте многоуровневый подход: Ahrefs — для глубокого анализа видимости именно в веб-поиске, отслеживания динамики позиций, анализа семантического ядра и ссылочного профиля. Similarweb — для оценки общего трафика и проверки гипотез. Если его данные по органике сильно превосходят показатели Ahrefs, вы, вероятно, нашли сайт, который эффективно использует для привлечения пользователей из Images, Videos или другой вкладки Google. Как альтернатива внутри Semrush: сравните данные из отчета Organic Search (веб-выдача) с данными из Traffic Analytics, Sources & Destinations (кликстрим). Большая разница между ними также укажет на скрытый трафик из неосновных вкладок выдачи. Такой подход позволяет не упустить из виду конкурентов, чья стратегия построена не на доминировании в Web поиске.

Google прикрывает трафик на AI-изображениях Ещё в прошлом году хотел было накатать пост о том, как поднимать трафик на сгенерированных фотках, но так и не дошли руки. Была одна рабочая "темка", о которой некоторые знакомые просили не сливать инфу в паблик, чтобы не убили быстро. Суть была простой: в Google Image отлично ранжировались сгенеренные AI-картинки на основе конкретных известных персон, особенно всё, что связано с адалтом. Можно было генерировать фотки для топовых онлифанщиц и порнозвезд, и это имело эффект, фотографии ранжировались высоко в топе. Почему это работало? Алгоритмы Google Картинок оказались тупо не готовы к такому качественному AI-контенту. Генерации были высокого разрешения, чёткие, и Гугл с радостью их закидывал в топ. К тому же, из-за новизны и эффекта "зловещей долины" пользователи сами активно кликали на такие изображения. Почти весь топ по жирным adult-запросам вроде "bbw porn pics" или "teen porn pics" был забит AI-фотками. Трафика было море. Но, похоже, лавочку прикрыл сам Google. За последнее время даже по самым обычным запросам типа "three guys on couch" из топа исчезла всякая генерёнка, хотя ещё недавно там было полно откровенной дичи. Скорее всего, это связано с регуляциями, которые вводят государства из-за дипфейков и прочих прелестей AI. Вероятно, в Google оценили риски и решили, что проще всё это вычистить, чем потом таскаться по судам. Даже "жирные" запросы, где люди целенаправленно ищут сгенерированный контент, вроде "ai porn", перестали показывать откровенные фото в топе выдачи. А в видео-выдаче — сначала общие сайты и куча роликов о том, как всё это теперь хотят зарегулировать. Похоже, после объявленной войны AI-текстам, Google вышел на тропу войны и с AI-медиаконтентом.

Google обновил документацию по SafeSearch - Самое важное 1: Google Search обновил ранжирующий алгоритм, который будет сильно аффектить сайты, которые хостят откровенные видео, но не дают доступ GoogleBot'у к видео-файлам. Такие сайты получат ощутимый дроп в ранжировании, особенно в Video табе поиска. - Самое важное 2: Уточнили, что сайты с большим количеством удалений CSAM или откровенного контента без согласия могут быть понижены в ранжировании. Остальное: - Раньше это была одна страничка в документации краулинга, теперь вынесли отдельно на две странички. - В целом обновили и расширили документацию. - Расширили информацию по обработке видео-байтов. - Добавлено больше инструкций на случай ошибочной пометки сайта как содержащего откровенный контент. Рекомендую всем, кто работает в Safe Search нишах ознакомиться: https://developers.google.com/search/docs/specialty/explicit/guidelines https://developers.google.com/search/docs/specialty/explicit/troubleshooting

Форумы RIP? В один день перестали работать 3 очень старых форума: maultalk.com, gofuckbiz.com, armadaboard.com Ходят слухи, что в тот же день закрылась и распустила штат одна уважаемая и очень старая партнерка, в названии которой присутствуют буквы R и X. Выводы делайте для себя сами. А пока, оказалось, что один старый и уважаемый форум закрытого типа, решил заполнить эту пустоту и открыться для всех, запустившись с нуля: https://blackseo.com

PagerankNS и Q* Теперь из слушания по делу Google мы знаем, что современный Pagerank является одним из ключевых входных параметров для расчета показателя качества Q*. В этом посте я кратко опишу сам патент и предложу стратегию линкбилдинга, вытекающую из этих данных. Патент US9953049B1 (ключевые отличия от классического Pagerank на картинке к посту) описывает метод оценки страниц, основанный на их «расстоянии» в ссылочном графе от набора заранее выбранных авторитетных «эталонных» сайтов (seed sites). Вместо передачи «веса», система вычисляет «кратчайший путь» до каждой страницы, где у каждой ссылки есть своя «длина». Итоговый рейтинг страницы зависит от того, насколько она «близка» к этим трастовым источникам. В качестве примера эталонных сайтов названы Google Directory и The New York Times. Поясняется, что такие сайты являются хорошими «эталонами», поскольку они надежны, охватывают широкий круг тем и хорошо связаны с другими страницами (имеют большое число исходящих ссылок), выступая в роли «хабов» в сети. От себя добавлю, что патент довольно старый и на практике эталонами считаются даже сайты поменьше, а какие-то крупняки, которые массово продают размещения вообще не считаются за авторитеты. Тут самостоятельно определите для себя, какие сайты считать за эталонные. Понимая, как работает современный PageRank, можно прийти к главному стратегическому выводу: для повышения общего показателя Q* не обязательно иметь прямую ссылку с авторитетных сайтов. Гораздо важнее находиться в "хорошем районе" интернета, то есть быть как можно ближе к "авторитетам" в ссылочном графе. Цель: Сократить "расстояние" вашего сайта до авторитетов, тем самым повысив его базовый Q*. Тактика: Картографировать граф ссылок: С помощью аналитических инструментов визуализируйте, как ваш сайт и сайты конкурентов связаны с трастовыми ресурсами. Оценивать "расстояние": Определите, через сколько "рукопожатий" (переходов по ссылкам с учетом их "длины") ваш сайт связан с авторитетами по сравнению с конкурентами. Строить стратегию линкбилдинга: Ищите возможности для получения ссылок не только с самих "авторитетов", но с сайтов второго или третьего уровня, которые находятся максимально близко к авторитетным сайтам. Такая ссылка может оказаться тем самым "коротким путем" и дать существенный прирост в базовом качестве вашего сайта. Итог: Фокус линкбилдинга смещается с "охоты за жирными ссылками" на стратегическое позиционирование своего сайта в экосистеме ссылок. Это не просто работа над одним из многих факторов ранжирования, а целенаправленное улучшение одного из ключевых компонентов сигнала качества Q*, который определяет базовый уровень доверия поисковой системы к вашему сайту.

Ключевые моменты из документа о поисковых технологиях Google (2) Другие сигналы - eDeepRank: Система на основе больших языковых моделей (LLM), использующая BERT и трансформеры. Ее цель – разложить сигналы на компоненты для повышения их прозрачности. - PageRank: Сигнал, отражающий расстояние от известного качественного источника и используемый как входной параметр для оценки качества (Q*). Поисковый индекс По определению HJ Kim, поисковый индекс состоит из фактического просканированного контента – заголовков и основного текста документов (инвертированный индекс). Существуют также отдельные специализированные инвертированные индексы для других типов контента (например, из Twitter, Macy's), которые хранятся отдельно от индекса для органических результатов. Сигналы, зависящие от запроса, не хранятся в индексе, а вычисляются в момент выполнения запроса. Однако для удобства некоторые сигналы, включая Q* (который в основном статичен, но иногда зависит от запроса), хранятся непосредственно в поисковом индексе.   Данные со стороны пользователя Под данными со стороны пользователя (User-Side Data) инженеры Google понимают данные о взаимодействии пользователя с системой, а не контент, созданный пользователями (например, ссылки между страницами).   Поисковые функции и их ранжирование Различные элементы поисковой выдачи, такие как "10 синих ссылок" и другие вертикали (например, панели знаний), имеют собственные системы ранжирования. Проект Tangram (ранее Tetris) был создан для применения основных принципов поиска ко всем этим элементам. Алгоритмы Tangram/Tetris, как и другие, было сложно разработать, но их можно было бы легко реконструировать при наличии данных о кликах и запросах. Knowledge Graph (Граф знаний) используется не только для отображения в панелях на странице результатов поиска, но и для улучшения традиционного поиска, предоставляя ему информацию о связях между объектами (например, в запросе о росте жены Барака Обамы).   Риски обратной разработки (Reverse Engineering) В документе выражается обеспокоенность тем, что утечка документов Google, раскрывающих некоторые компоненты системы ранжирования, в сочетании с данными о работе системы, может позволить конкурентам реконструировать принципы работы, включая кривые и пороговые значения, без необходимости проводить собственные дорогостоящие исследования.

Ключевые моменты из документа о поисковых технологиях Google В документе, датированном 18 февраля 2025 года и являющемся записью разговора с инженером Google HJ Kim, обсуждаются различные аспекты работы поисковой системы Google, с акцентом на принципы ранжирования и используемые сигналы. "Ручная настройка" сигналов Большинство сигналов, за исключением основанных на машинном обучении RankBrain и DeepRank, создаются и настраиваются инженерами "вручную". Это позволяет анализировать и корректировать их работу. Процесс разработки включает анализ данных, использование сигмоидных или других функций и определение пороговых значений. В некоторых случаях инженеры могут вручную выбирать среднюю точку на основе релевантных данных. Для большинства сигналов используется регрессионный анализ данных, таких как контент и структура веб-страниц, клики пользователей и данные от асессоров.   Фундаментальные сигналы (ABC) и Тематическая релевантность (Topicality) Ключевыми компонентами являются так называемые ABC-сигналы, разработанные инженерами:   - Anchors (A): Ссылки с одной страницы на другую.   - Body (B): Термины, содержащиеся в документе.   - Clicks (C): Исторические данные о том, как долго пользователь оставался на странице после перехода из поисковой выдачи. Эти сигналы лежат в основе определения тематической релевантности (Topicality или T*) документа по отношению к запросу. Topicality объединяет эти три сигнала "вручную" и используется Google для оценки релевантности документа на основе поисковых терминов. Разработка этого показателя требовала значительных усилий и находилась в постоянном развитии до недавнего времени (примерно до 2020 года).   Преимущества "ручной настройки" Основная причина "ручной настройки" большинства сигналов заключается в том, что в случае сбоев Google точно знает, что и как исправлять. Google стремится к полной прозрачности своих сигналов для возможности их отладки и улучшения. Это рассматривается как значительное преимущество перед конкурентами, такими как Bing, которые используют более сложные системы машинного обучения, затрудняющие выявление и устранение проблем.   Кривые ранжирующих сигналов и компоненты IR-оценки Инженеры Google строят графики ("кривые") для ранжирующих сигналов, и подгонка этих кривых происходит на каждом уровне сигналов. Основными компонентами, формирующими итоговую оценку информационной релевантности (IR score), являются ABC-сигналы (тематическая релевантность, связанная с конкретным запросом) и Navboost. Качество (Quality - Q*) Сигнал качества (Q*), отражающий надежность и авторитетность страницы, является чрезвычайно важным. В основном он статичен и не зависит от конкретного запроса, хотя в некоторых случаях может учитывать информацию из запроса для предоставления более точных результатов. Команда по качеству страниц была создана около 17 лет назад, в частности, для борьбы с проблемой "ферм контента" – сайтов, массово производящих низкокачественные статьи. Проблема качества контента остается актуальной, особенно с развитием технологий искусственного интеллекта. Поскольку Q* в значительной степени статичен и связан скорее с сайтом, чем с запросом, его можно было бы легко реконструировать при наличии соответствующих данных.

Забавное наблюдение из Adult SEO или как выглядит рамадан в трендах Google на примере Пакистана.

Яндекс делает дорвеи? В последнее время в поисковой выдаче Google по запросам на русском языке начали часто появляться два проекта от Яндекс, которые, на первый взгляд, имеют все признаки дорвеегенерации. Проект 1: https://300.ya.ru - Проект генерирует текстовые аннотации к любым видео на YouTube и других сервисах на русском языке (пример: https://300.ya.ru/v_2tJfSaq6). - Для индексирования только аннотаций к видео в файле robots.txt добавлено специальное правило Allow: /v_*$. - Поддерживается обширный сайтмап со ссылками на пересказы видео https://300.ya.ru/sitemap.xml. - Судя по баннеру, проект является дорвеем для перенаправления трафика на Яндекс.Браузер. Проект 2: https://ya.ru/neurum - Генерируются ответы через YandexGPT на основе других источников (пример: https://ya.ru/neurum/c/nauka-i-obrazovanie/q/v_chem_zaklyuchaetsya_osnovnoy_nedostatok_algoritma_2a219833). - Есть ссылка на лендинг https://ya.ru/neuro-search/, используемый для перенаправления трафика на Яндекс.Браузер, а также ссылка на поиск в Яндекс. - Некоторые вопросы в разделе Другое, кажется, взяты с mail.ru (?). - В файле ya.ru/robots.txt специально для юзерагента Googlebot размещен сайтмап с посадочными страницами https://ya.ru/neurum/sitemaps/sitemap.xml.gz. Другие проекты: В том же https://ya.ru/robots.txt для Googlebot указаны еще два сайтмапа менее агрессивных программатик проектов: - Медицина: https://ya.ru/medicine/sitemaps/sitemap.xml - Финансы: https://ya.ru/finance/sitemaps/sitemap.xml Вывод: Если это сработало для русского языка, то должен сработать похожий подход и для других языков в Google. Берите на заметку :) P.S. Если кто-то хочет зарепортить в Google, что эти сайты нарушают правила поисковой системы, велкам: https://search.google.com/search-console/report-spam

Марафон по линкбилдингу Мой хороший приятель запускает марафон по линкбилдингу с целью вывода новорег-домена из песочницы и достижения видимости в Google. Участники смогут протестировать различные методы линкбилдинга в конкурентных нишах на новых EMD-доменах. Марафон длится 30-45 дней, и участники должны следовать установленным правилам. Старт запланирован на пятницу.

Марафон по линкбилдингу Мой хороший приятель запускает марафон по линкбилдингу с целью вывода новорег-домена из песочницы и достижения видимости в Google. Участники смогут протестировать различные методы линкбилдинга в конкурентных нишах на новых EMD-доменах. Марафон длится 30-45 дней, и участники должны следовать установленным правилам. Старт запланирован на пятницу.

Проблемы с парсингом выдачи Google Если у вас возникают сложности со скрейпингом Google, вы не одни. Даже крупнейшие сервисы трекинга позиций столкнулись с этой проблемой. Как сообщили в Similarweb Барри Шварцу, неполадки начались 15 января, когда Google ввел новые методики борьбы с автоматическими запросами. Ребята из A-Parser оперативно выпустили фикс вчера, но уже сегодня парсинг снова перестал работать. Команда обещает разобраться. UPD: выпустили новый фикс. Следим за развитием ситуации.

Проблемы с парсингом выдачи Google Если у вас возникают сложности со скрейпингом Google, вы не одни. Даже крупнейшие сервисы трекинга позиций столкнулись с этой проблемой. Как сообщили в Similarweb Барри Шварцу, неполадки начались 15 января, когда Google ввел новые методики борьбы с автоматическими запросами. Ребята из A-Parser оперативно выпустили фикс вчера, но уже сегодня парсинг снова перестал работать. Команда обещает разобраться. UPD: выпустили новый фикс. Следим за развитием ситуации.

Reddit Pro Trends: Новый инструмент для бизнеса Реддит выпустил новый инструмент чем-то похожий на Google Trends, позволяющий бизнесу следить за обсуждениями любых тем на Reddit в реальном времени: https://www.business.reddit.com/blog/reddit-pro-trends-launch Особенности инструмента: - Основан на отслеживании ключевых фраз для выявления сообществ, обсуждений и трендов, важных для вашего бизнеса. - Контекстная релевантность топиков ключевым словам. - Позволяет видеть, что и, главное, как часто говорят о ваших ключевых словах, оценивая интерес аудитории в текущий момент. Для использования инструмента необходимо зарегистрироваться в Reddit Pro, бесплатно, но я еще не получил аппрув. Для SEO-специалистов вижу следующую потенциальную пользу: - Узнавать дополнительные темы и ключевые слова, которые популярны в тематике. - С помощью тредов можно понять, что беспокоит юзеров в данный момент и создать посадочные отвечающие на вопрос на вашем сайте. - В целом, лучше понимать, что нужно потенциальной аудитории сайта. ...но насколько это все оправдается, поймем в процессе использования. :)

Подводя итоги года: рост, изменения и новые горизонты Решил поделиться итогами и немного рассказать о том, что удалось достичь. Все, чем занимался в этом году, показало значительный рост. Владельцы проектов довольны иксами, а я рад видеть, что мой вклад приносит трехзначные проценты прироста. Даже те, кому помогал буквально парой советов, демонстрируют успех. Иногда достаточно небольшого технического изменения, чтобы сайт начал ранжироваться по нужным ключам. Особенное внимание в этом году я уделил User Experience. Поведение посетителей сайта — это кладезь инсайтов. Если у вас много трафика, обязательно изучайте, как люди взаимодействуют с сайтом. Вы удивитесь, сколько мелочей можно улучшить, даже тех, что на первый взгляд кажутся незначительными. Для себя я осознал, что простой "манимейкинг" больше не вдохновляет. Гонка за доходами на дорвеях — это не мой путь. Наоборот, работа с масштабными проектами дала понять, что я хочу создавать что-то глобальное и значимое. В дорвеях и своих небольших проектах мне не удавалось применить весь багаж знаний и навыков. А вот на крупных проектах, где месячный трафик исчисляется миллиардами, мои умения по-настоящему востребованы. Правда, объяснить коллегам по SEO, как "формулы с логарифмами" помогают в оптимизации, бывает не так просто. 🙂 Хотелось в этом году вернуться к своим ДДЛ-проектам — протестировал несколько идей, и они вполне рабочие. Но... руки не поднимаются. Подбор доменов, клепание и прочие рутинные задачи не приносят удовольствия, а только выжигают мотивацию. Я занимаюсь проектами из топ-50 и топ-100 мира (по Similarweb). Это большая ответственность, немалый стресс и, что интересно, денег меньше, чем со своих сайтов. Но зато есть удовлетворение от работы, понимание, что делаешь что-то действительно стоящее. Еще одно важное наблюдение за год: я почти перестал писать посты. Тем накопилось очень много, и среди них есть действительно полезные материалы для SEO-коммьюнити. Но часть вещей коллеги просят не публиковать, а до других тем просто не доходят руки. Постараюсь исправить это в следующем году — хочется делиться знаниями чаще. Год был насыщенным, продуктивным и дал мне четкое понимание, куда двигаться дальше. А как у вас прошел этот год?

Вотермаркинг AI-контента от Google Google DeepMind выпустила в open source технологию SynthID для создания и распознавания цифровых водяных знаков в контенте, созданном с помощью искусственного интеллекта. SynthID позволяет разработчикам внедрять незаметные для человека водяные знаки в текст, изображения, видео и аудио, с возможностью их последующей идентификации. Для текстов доступна версия SynthID Text, интегрированная в библиотеку Hugging Face Transformers и представленная на GitHub. Водяные знаки устойчивы к незначительным изменениям контента, однако могут ослабевать при значительных модификациях или переводах. Технология направлена на борьбу с дезинформацией и неправильной атрибуцией AI-контента. Интересно, как много разработчиков LLM-ок внедрят у себя подобное и предоставят поисковикам инструменты быстрого определения? https://deepmind.google/technologies/synthid/ https://ai.google.dev/responsible/docs/safeguards/synthid https://huggingface.co/blog/synthid-text https://github.com/google-deepmind/synthid-text

Indexing API похоже всё Еще 24 сентября пользователь brian lowery заметил, что теперь в документации стандартная квота выдается только для тестирования, чтобы использовать API необходимо теперь заполнять форму и ждать апрува. Также brian lowery заявил, что API не работает даже на его сайте с вакансиями. Пока неизвестно сможет ли кто-то все-таки получить апрув в новых реалиях, старые ключи судя по опросам ни у кого не работают (кроме тех, кто любит приврать), будем следить за ситуацией, но возможно краник прикрыли. Индексирующие сервисы приуныли.