Data Science | Machinelearning [ru]
Все о Data Science, машинном обучении и искусственном интеллекте: от базовой теории до cutting-edge исследований и LLM. MAX - https://max.ru/devsp Личный блог - @just_genych По вопросам рекламы или разработки - @g_abashkin РКН: https://vk.cc/cJPGXD
Больше📈 Аналитический обзор Telegram-канала Data Science | Machinelearning [ru]
Канал Data Science | Machinelearning [ru] (@devsp) языкового сегмента Русский является активным участником. Сейчас сообщество объединяет 19 702 подписчиков, занимая 6 671 место в категории Технологии и приложения и 33 393 место в регионе Россия.
📊 Показатели аудитории и динамика
С момента создания невідомо проект демонстрирует стремительный рост, собрав аудиторию из 19 702 подписчиков.
Согласно последним данным от 29 октября, 2026, канал показывает стабильную активность. За последние 30 дней изменение числа участников составило -96, а за последние 24 часа — -7, при этом общий охват остаётся высоким.
- Статус верификации: Не верифицирован
- Уровень вовлечённости (ER): Средний показатель вовлечённости аудитории составляет 7.94%. В первые 24 часа после публикации контент обычно набирает 4.71% реакций от общего числа подписчиков.
- Охват публикаций: В среднем каждый пост получает 1 565 просмотров. В течение первых суток публикация набирает 928 просмотров.
- Реакции и взаимодействия: Аудитория активно поддерживает контент: среднее количество реакций на один пост — 3.
- Тематические интересы: Контент сосредоточен на ключевых темах, таких как llm, nvidia, контекст, openai, архитектура.
📝 Описание и контентная политика
Автор описывает ресурс как площадку для выражения субъективного мнения:
“Все о Data Science, машинном обучении и искусственном интеллекте: от базовой теории до cutting-edge исследований и LLM.
MAX - https://max.ru/devsp
Личный блог - @just_genych
По вопросам рекламы или разработки - @g_abashkin
РКН: https://vk.cc/cJPGXD”
Благодаря высокой частоте обновлений (последние данные получены 30 октября, 2026) канал поддерживает актуальность и высокий уровень охвата публикаций. Аналитика показывает, что аудитория активно взаимодействует с контентом, что делает его важной точкой влияния в категории Технологии и приложения.
🥸 Но вот что он считает важным: LLM, такие как GPT, всё ещё опираются исключительно на данные, созданные людьми. Эти данные, по его мнению, ограничены и часто имеют искажения. Самообучающиеся модели, по его словам, должны не только анализировать текст, но и активно взаимодействовать с миром — так, как это делают люди и животные. Являются ли LLM тупиковым ответвлением в развитии ИИ или же это лишь первый шаг на пути к чему-то большему?Для тех, кто хочет услышать мнение Ричарда Саттона из первых уст, рекомендую послушать его интервью в подкасте на YouTube. Это отличный повод задуматься о том, что нас ждёт в будущем ИИ и действительно ли LLM — это финальная форма искусственного интеллекта. Data Science
Саморегуляция стало настоящим прорывом в мире ИИ, а его основная идея — это возможность каждой части информации влиять на другие части в зависимости от контекста. Когда вы переводите предложение, например, из одного языка на другой, важно учитывать не только отдельные слова, но и их взаимосвязи. Это именно то, что и делает саморегуляция — оно позволяет модели «фокусироваться» на ключевых элементах данных и учитывать их в расчете результата. 🔴 Саморегуляция и его ключевая роль Саморегуляция решает проблему, с которой сталкиваются традиционные нейросети — длинные последовательности и зависимости в тексте. Например, при переводе фразы «Жизнь коротка, ешь десерт первым» важно понимать контекст каждого слова в предложении. Саморегуляция позволяет модели динамически «выбирать», какие элементы наибольшую важность для конкретного контекста. Концепция регуляции изначально предназначалась для улучшения рекуррентных нейронных сетей. Однако с появлением трансформеров регулирование стало ключевым элементом их архитектуры. Сегодня внимание используется не только в переводе, но и в анализе текста, генерации и даже создании изображений. ‼️ Основная идея саморегуляции проста: каждая часть данных может «внимательно» изучать другие части. В результате появляется «контекстное» представление каждого элемента. — Создаем векторное представление для каждого слова в предложении (т.е. строим embedding). Например, для фразы «Жизнь коротка, ешь десерт первым» каждое слово превращается в вектор. — Используем три матрицы (для запроса, ключа и значения) для того, чтобы преобразовать эти векторы в соответствующие компоненты. Запросы (queries) — это те элементы, которые мы анализируем, ключи (keys) и значения (values) — это элементы, с которыми запросы сравниваются. — Считаем веса внимания между каждым элементом, используя скалярное произведение запросов и ключей. Это позволяет понять, насколько «важен» каждый элемент в контексте других. — Применяем softmax для нормализации этих весов и создаем итоговое контекстное представление для каждого элемента. ✔️ Расширение саморегуляции Multi-Head Attention — это еще одна важная концепция, которую используют трансформеры. Вместо того, чтобы использовать один набор матриц для вычислений, модель использует несколько «голов» внимания, каждая из которых фокусируется на разных аспектах входных данных. Это как если бы у модели было несколько разных точек зрения, с помощью которых она может анализировать информацию. 🕯 Перекрестное внимание Одной из интересных особенностей трансформеров является перекрестное внимание (cross-attention). В отличие от саморегуляции, где все элементы исходной последовательности взаимодействуют между собой, в перекрестном внимании используются две разные последовательности. Это особенно важно в таких задачах, как машинный перевод, где один набор данных приходит из энкодера, а другой — из декодера.Понимание саморегуляции помогает лучше разобраться в том, как работают трансформеры и какие возможности они открывают для ИИ. С помощью этого механизма нейросети могут «фокусироваться» на самых важных частях информации и учитывать контекст, что делает их такими мощными и универсальными. Думаете, сможет ли ИИ в будущем понимать все нюансы контекста? Data Science
Математические открытия всегда требуют безошибочности. Каждое новое доказательство или структура должна быть проверена и доказана без ошибок. ИИ, в отличие от нас, может делать это с огромной скоростью и в рамках совершенно новых подходов. Так, например, AlphaEvolve помогает не просто искать решения, но и создавать такие структуры, которые решают сложнейшие задачи в теории сложности. ☄️ Как работает AlphaEvolve? Процесс работы системы заключается в том, что она генерирует и совершенствует кодовые фрагменты, которые могут привести к новым результатам в теории сложности. Применяя так называемую стратегию «lifting», AlphaEvolve преобразует конечные структуры в более универсальные теоремы, которые имеют гораздо более широкий диапазон применения. Это не просто генерация гипотез — это целенаправленное улучшение доказательств, что может стать основой для больших теоретических прорывов. 🔔 Например, AlphaEvolve была использована для решения задачи MAX-4-CUT, одной из сложнейших задач в теории графов. Ранее существующие алгоритмы ограничивались точностью в 0.9883, но с помощью ИИ был найден новый граничный показатель — 0.987. Это может показаться маленьким шагом, но в контексте многолетних исследований такие улучшения становятся важными прорывами. Но достижения не ограничиваются только этим. ИИ также помогает в изучении «среднестатистической сложности», исследуя трудности в сертификации определённых свойств случайных графов. Это далеко не простая задача, ведь для этого нужно найти и подтвердить существование крайне редких объектов, таких как Рамануджан-графы, которые раньше находились только с помощью усилий вручную. 🙂 Важность верификации и роль человека Несмотря на впечатляющие результаты, важно отметить, что ИИ не может полностью заменить человека. Он помогает открывать новые структуры и оптимизировать процессы, но именно человек, специалист в своей области, должен оставаться в процессе проверки и окончательного утверждения результатов. Именно это разделение между открытиями и верификацией гарантирует, что мы не столкнёмся с ошибками, которые могут «переписать» всю теорию.Системы вроде AlphaEvolve уже открывают двери в новые возможности, но многие проблемы остаются нерешёнными. Например, как мы будем проверять правомерность математических доказательств, когда ИИ станет ещё более автономным? Если мы получим ответы через десять лет исследований, это будет хорошо. Data Science
Однако эта цифра касается только инференса. Тренировка ИИ требует еще больше мощностей. Брокман также отметил, что с ростом спроса на ИИ могут возникнуть проблемы не только с GPU и памятью, но и с энергией, охлаждением дата-центров и другими ресурсами.📈 Интервью с Брокманом прошло на фоне того, как Nvidia инвестирует 100 миллиардов долларов в OpenAI для закупки ускорителей и получения доли в акциях. Смогут ли корпорации увеличить свои мощности для всех? Data Science
• Как создавать качественные эмбеддинги? • Как работают такие техники, как BERT, делающие их эффективными для обработки текста? • Как эмбеддинги применяются в современных LLM и повышают их точность? • Почему анализ эмбеддингов в виде графов может дать новые инсайты о структуре данных?Понимание эмбеддингов важно не только для работы с моделями, но и для создания сложных систем анализа данных. Это открывает новые возможности для улучшения качества и точности машинного понимания. Data Science
Проблема, которую решает Google Для большинства специалистов по данным процесс работы с машинным обучением выглядит так: сначала они извлекают данные с помощью SQL из баз данных, затем экспортируют их в Python, чтобы настроить модели, и, наконец, запускают вычисления на Apache Spark. Это вызывает лишнюю путаницу, задержки и дополнительные затраты времени. Что меняет Colab Enterprise? Google представил улучшенную версию своих блокнотов Colab Enterprise, которая должна упростить этот процесс и предоставить единое рабочее пространство для всех нужных операций: • Предварительный просмотр ячеек SQL: Теперь разработчики смогут работать с данными непосредственно в SQL, не покидая рабочее окружение Colab. • Интеграция Data Science Agent: Новый агент будет помогать в автоматизации анализа данных и разработки моделей машинного обучения, значительно ускоряя процесс. Почему это важно? Эти улучшения значительно облегчают работу специалистов по машинному обучению, устраняя необходимость в множественных экспортированных и импортированных данных между различными платформами. Теперь процесс может быть сосредоточен в одном инструменте, что повысит скорость разработки и улучшит взаимодействие с данными.Google, похоже, готовит значительное упрощение для всех, кто работает с данными. Уменьшение необходимости в переключении между инструментами позволит ускорить рабочие процессы и улучшить производительность команд. Как вы думаете, поможет ли объединение в одной платформе ускорить процесс разработки? Data Science
Проблема, с которой сталкиваются нейросети Во время обучения нейросетей одна из главных трудностей — это контроль за масштабами тензоров: весов, активаций и градиентов. Когда эти значения становятся слишком большими или маленькими, возникает ряд численных проблем, таких как взрывы и исчезающие градиенты, которые мешают корректному обучению. Для борьбы с этим часто используются такие методы, как gradient clipping, weight decay и layer norm, но они не решают проблему в корне. Новая идея: обучение на многообразии Предлагаемый подход идет намного глубже: вместо того, чтобы просто корректировать размеры тензоров, авторы предлагают ограничить сами структуры тензоров, заставив их "жить" в определённом многообразии (или manifold). Предположим, мы хотим, чтобы веса полносвязных слоёв не растягивались слишком сильно. Для этого можно выбрать такое многообразие, где строки и столбцы матрицы ортонормированы. Это условие позволит избежать значительного увеличения нормы сигнала при обучении, что важно для стабильности сети. — Обновление весов: В обычных нейросетях веса обновляются по стандартной формуле. Однако при использовании нового подхода, перед тем как вычесть градиент, мы должны проецировать его в касательное пространство. Это гарантирует, что обновление не выйдет за пределы нужного многообразия. — Проекция и ретракция: Процесс обновления весов включает два этапа — проекцию градиента в нужное пространство и ретракцию для стабилизации. Это помогает минимизировать возможные численные ошибки, которые могут вывести матрицы за пределы заданного пространства. — Равномерное движение слоёв: Для равномерной стабилизации предложено использовать "бюджет шагов", чтобы все слои модели двигались синхронно, что повышает общую стабильность. Результаты и ограничения На тесте с CIFAR-10 новый метод показал лучшие результаты по сравнению с популярным оптимизатором AdamW, в том числе по стабильности обучения. Однако, несмотря на перспективы, у метода есть и важные вопросы: • Как правильно выбирать пространства для разных типов слоёв? • Будет ли метод эффективно работать на больших моделях и на float16? • Как его масштабировать для более сложных задач? • И, конечно, серьёзные вычислительные затраты.Подход Thinking Machines представляет собой интересную и фундаментальную инновацию в обучении нейросетей. Хотя этот метод ещё далёк от практического применения, его потенциал в решении проблем численной стабильности и масштабируемости нейросетей нельзя недооценивать.
🔥 — Подход имеет потенциал для масштабирования и решения текущих проблем 🤔 — Сложности с вычислениями и масштабированием остаются слишком большимиData Science
Рост использования AI-сервисов поражает, и мы ожидаем, что в будущем он станет ещё более стремительным. По мере того как ИИ становится умнее, доступ к нему может стать не только ключевым драйвером экономики, но и со временем – базовым правом человека. Почти каждый захочет, чтобы у него было больше ИИ, работающего на его благо. Чтобы обеспечить миру необходимые мощности для инференса и обучения всё более совершенных моделей, мы закладываем фундамент для масштабного роста AI-инфраструктуры. Если ИИ сохранит текущую траекторию развития, нас ждут невероятные возможности. Например, с 10 гигаваттами вычислительных мощностей ИИ может найти способ вылечить рак или создать персонализированное обучение для каждого ребёнка на Земле. Но если мощности будут ограничены, придётся выбирать, что важнее. Никто не хочет делать такой выбор – значит, нужно строить. Наша цель проста: создать фабрику, которая сможет выпускать по гигаватту новых AI-мощностей каждую неделю. Это невероятно сложная задача, требующая инноваций на всех уровнях – от чипов и энергетики до строительства и робототехники. Мы уже активно работаем над этим и верим, что это возможно. В нашем понимании, это может стать самым важным инфраструктурным проектом в истории. В ближайшие месяцы мы поделимся планами и расскажем о партнёрах, а позже о том, как будем финансировать проект. Ведь рост вычислительных мощностей – ключ к росту дохода, и у нас есть несколько нестандартных идей.Как это будет выглядеть, пока не до конца понятно, но один гигаватт в неделю – это 52 гигаватта в год ✖️ xCode Journal
Что изменилось в подходе? Обычно в распределенных системах для координации работы используется центральный сервер, что может создавать узкие места. Децентрализованные алгоритмы, в свою очередь, требуют точной информации о параметрах задачи и сети, что делает их неэффективными в реальных условиях. Новый подход решает эту проблему, позволяя каждому агенту работать с локальной информацией и адаптировать параметры алгоритма в реальном времени. Как работает новый алгоритм? Используя метод «разбиения операторов» и новую метрику, алгоритм позволяет агентам самостоятельно определять оптимальный размер шага в процессе обучения, без необходимости обмениваться данными с другими агентами. Это значительно ускоряет вычисления и повышает масштабируемость, улучшая скорость сходимости. Что показали эксперименты? Эксперименты подтвердили, что новый алгоритм значительно превосходит существующие децентрализованные методы, особенно при решении сложных задач с большим объемом данных. Он был протестирован на задаче гребневой регрессии (ridge regression) и показал отличные результаты, особенно в слабо связанных сетях.Этот децентрализованный подход — важный шаг к созданию более эффективных и масштабируемых систем машинного обучения, которые могут работать без центральных серверов и настраиваться под реальную сеть. Такой алгоритм может найти широкое применение в распределенных вычислениях и помочь ускорить обучение моделей в самых разных областях. Data Science
Как это работает? В отличие от старых вирусов, которые имели заранее подготовленный код, MalTerminal генерирует уникальные скрипты в реальном времени. После запуска на заражённой машине, вирус анализирует окружение и, через GPT-4, создаёт нужный код для атаки, будь то ransomware или reverse shell. Система, защищённая от известных угроз, не распознаёт эту атаку, потому что код постоянно меняется. Как это выглядит в действии? Злоумышленник запускает MalTerminal, программа анализирует ОС и защиту, а затем запрашивает у GPT-4 создание Python-скрипта для отключения Windows Defender и загрузки шифровальщика. Всё происходит автоматически и без следов. Для компаний это угроза массовых персонализированных атак, которые могут адаптироваться под каждую систему и пользователя. Для пользователей — это риск, что хакеры смогут обойти все защитные механизмы, не имея глубоких знаний в программировании. Как нам защититься? Простое обновление антивируса уже не спасает. Нужно переходить к новым методам защиты, которые анализируют не код, а намерения программы: что она пытается сделать, куда лезет и какие данные скачивает. Появляются решения, такие как FalconShield, которые отслеживают активность программ, взаимодействующих с ИИ. Киберугрозы станут массовыми и персонализированными. Мы увидим рост расходов на кибербезопасность и, возможно, запуск гонки ИИ-вооружений, где нейросети будут управлять атаками. Это также может привести к глобальным угрозам, если вирусы начнут атаковать критические инфраструктуры, такие как больницы или банки.MalTerminal — это не просто вирус, это предупреждение. ИИ стал не просто инструментом, а потенциальным оружием. Мы находимся на грани новой эры, и от нас зависит, как мы сможем с этим справиться. Data Science
Что может nvmath-python? Библиотека совместима с популярными фреймворками и библиотеками, такими как NumPy, CuPy и PyTorch, и поддерживает высокую гибкость в настройке вычислений. Она позволяет: • Работать с массивами из различных экосистем • Подгонять точность вычислений, режимы умножения и операции эпилога • Использовать передовые оптимизации от NVIDIA для ускорения математических и машинных задач На данный момент проект находится в бета-версии, но уже доступен для использования.Для разработчиков, работающих с числовыми вычислениями и машинным обучением, nvmath-python может стать полезным инструментом, особенно если вы хотите ускорить вычисления на архитектуре NVIDIA. Несмотря на то что библиотека пока находится в бета-версии, уже сейчас её возможности впечатляют. Data Science
Крупные корпорации начали замедлять внедрение ИИ: уровень применения снизился с 14% до 12% за лето 2025 года. Вместо того чтобы двигаться к масштабированию, компании начали сталкиваться с неудачами. Свежий отчет MIT также указывает на тревожный факт — 95% пилотных проектов с генеративным ИИ не доходят до реального использования. Сегодня мы наблюдаем переходный момент — период «отрезвления», когда эйфория от первых успехов сменяется осознанием того, что не все так просто. На первый план выходят реальные проблемы: 42% лидеров признаются, что ИИ в их компаниях — это, в основном, маркетинговый шум, а 82% сотрудников скептически относятся к технологии. Вопрос стоит так: это лишь временные трудности или начало конца ИИ-революции? Что на самом деле происходит? В 2025 году мы сталкиваемся с очевидным расколом среди компаний: одни продолжают активно инвестировать в ИИ, другие сомневаются. Крупные корпорации начали понимать, что технологии не так безупречны, как ожидалось, и с опаской смотрят на масштабирование. В то же время малый бизнес продолжает двигаться вперед, экспериментируя с ИИ в узких сферах, что демонстрирует большую гибкость и готовность к новым решениям. Интересно, что большая часть ИИ-инвестиций идет на улучшение внутренней инфраструктуры — не в саму технологию, а в ее обвязку. Так, например, 44% расходов направляются на создание объяснимых и безопасных моделей. Это свидетельствует о том, что компании осознали: без понимания работы ИИ и его контроля технологии могут представлять огромный риск. Развитие ИИ идет далеко не так стремительно, как было обещано. Большинство пилотных проектов терпят неудачу, а огромные деньги по-прежнему тратятся, но отдачи нет. Параллельно с этим, реальный успех находит тот бизнес, который оценивает возможности ИИ не как магию, а как инструмент для решения четких и конкретных задач.Сентябрь 2025 года стал моментом, когда блеф о мгновенной революции ушел в прошлое. ИИ, безусловно, обладает огромным потенциалом, но путь к его эффективному использованию требует гораздо больше усилий и осознанных решений, чем ожидали многие. Нам предстоит увидеть, кто пройдет через все трудности и выйдет на другой уровень. ИИ станет неотъемлемой частью бизнеса?
👍 — Он будет повсюду 🤔 — Это технология для элитных компанийData Science
Метод, названный Parallel-R1, использует обучение с подкреплением, чтобы обучить модели параллельному мышлению. Это значит, что система может генерировать несколько независимых логических путей, а затем собрать их воедино для более точных выводов. Такой подход устраняет потребность в большом количестве размеченных данных, что делает его более доступным для практического применения. Параллельное мышление активно применяется в таких передовых моделях, как Gemini Deep Think от Google, и показало себя как эффективная техника для сложных задач рассуждения. Однако многие существующие методы сталкиваются с проблемой масштабирования или требуют заранее заданных правил, что ограничивает гибкость и применимость. Parallel-R1 решает эти проблемы, позволив моделям развивать множество линий рассуждений и эффективно комбинировать их. Метод Parallel-R1 прошел через несколько этапов обучения. Сначала модель обучалась на простых задачах, где она генерировала примеры параллельного мышления, затем метод с использованием RL был применен к более сложным задачам. Результаты показали, что модель, обученная с помощью Parallel-R1, демонстрирует более высокую стабильность и точность, чем другие подходы.Этот метод может существенно повлиять на развитие бизнес-решений, где важны высококачественные системы рассуждения. Благодаря использованию параллельного мышления можно сделать ИИ более точным и адаптивным при решении комплексных задач в реальном времени. Data Science
