Data Portal | DS & ML
Ir al canal en Telegram
Всё самое интересное из мира Data Science и машинного обучения Cотрудничество: @devmangx Автор: @ScienceLLM № 8265735363
Mostrar más
Red:📈 Análisis del canal de Telegram Data Portal | DS & ML
El canal Data Portal | DS & ML (@llmscience) es un actor destacado. Actualmente la comunidad reúne a 11 117 suscriptores, ocupando la posición 11 122 en la categoría Tecnologías y Aplicaciones y el puesto 57 638 en la región Rusia.
📊 Métricas de audiencia y dinámica
Desde su creación el невідомо, el proyecto ha mostrado un crecimiento acelerado, reuniendo a 11 117 suscriptores.
Según los últimos datos del 26 octubre, 2026, el canal mantiene una actividad estable. En los últimos 30 días la variación de miembros fue de 854, y en las últimas 24 horas de 85, conservando un alto alcance.
- Estado de verificación: No verificado
- Tasa de interacción (ER): El promedio de interacción de la audiencia es 24.30%. Durante las primeras 24 horas tras publicar, el contenido suele obtener 11.25% de reacciones respecto al total de suscriptores.
- Alcance de las publicaciones: Cada publicación recibe en promedio 2 695 visualizaciones. En el primer día suele acumular 1 248 visualizaciones.
- Reacciones e interacción: La audiencia responde de forma activa: el promedio de reacciones por publicación es 0.
- Intereses temáticos: El contenido se centra en temas clave como llm, контекст, токенов, claude, архитектура.
📝 Descripción y política de contenido
El autor describe el recurso como un espacio para expresar opiniones subjetivas:
“Всё самое интересное из мира Data Science и машинного обучения
Cотрудничество: @devmangx
Автор: @ScienceLLM
№ 8265735363”
Gracias a la alta frecuencia de actualizaciones (últimos datos recibidos el 27 octubre, 2026), el canal mantiene la vigencia y un amplio alcance. La analítica demuestra que la audiencia interactúa activamente con el contenido, lo que lo convierte en un punto de referencia dentro de la categoría Tecnologías y Aplicaciones.
11 117
Suscriptores
+8524 horas
+1577 días
+85430 días
Archivo de publicaciones
11 117
Repost from Вайб-кодинг
Американская ИИ-компания PrismML расширила семейство Bonsai 2, представив три новые модели с 2, 4 и 9 миллиардами параметров. Все они созданы на основе Qwen 3.5 от Alibaba.
Разработчики ограничили основные веса языковых моделей тремя значениями: −1, 0 и +1. Благодаря этому размеры файлов удалось сократить до 0,43 ГБ, 0,95 ГБ и 2 ГБ соответственно. Это примерно в девять раз меньше, чем у исходных моделей с 16-битными весами.
Новые модели по-прежнему поддерживают рассуждения, понимание изображений и вызов инструментов. Прежде всего они предназначены для локальных ИИ-агентов, работающих на смартфонах, персональных компьютерах и других устройствах.
По данным PrismML, на iPhone 18 Pro Max модель 9B генерирует до 34 токенов в секунду, тогда как версия 2B достигает скорости 120 токенов в секунду.
В официальных тестах Bonsai 2 9B практически не уступает исходной Qwen 3.5 аналогичного размера в программировании и следовании инструкциям, однако на сложных задачах разница заметнее.
В Tau2Bench, проверяющем способность моделей вести многоэтапные диалоги и работать с инструментами, Bonsai 2 9B набрала 73,02 балла против 85,25 у оригинальной Qwen 3.5. В тесте на анализ сложных документов результаты составили 73,8 и 88,73 балла соответственно.
Веса всех трёх моделей уже опубликованы под лицензией Apache 2.0.
При этом стоит учитывать, что 2 ГБ это размер только языковой модели 9B в наиболее компактном формате. Для обработки изображений потребуется дополнительно загрузить визуальный модуль объёмом около 0,62 ГБ.
https://huggingface.co/collections/prism-ml/bonsai-2-small
11 117
Я немного поэкспериментировал с MiniCPM-V 4.7 35B-A3B и создал портфолио в стиле необрутализма.
Но самое интересное в этом эксперименте — модель, с помощью которой был создан интерфейс.
MiniCPM-V 4.7 от OpenBMB делает мультимодальный ИИ более доступным для практического использования на обычных устройствах.
Модель MiniCPM-V 4.7 35B-A3B содержит 35 млрд параметров, но при обработке каждого токена активирует только 3 млрд. Благодаря этому она обеспечивает скорость генерации более 17 токенов в секунду на iPad Pro M4 (16 ГБ) и более 13 токенов в секунду на iPhone 17 Pro Max, используя всего около 3 ГБ памяти в оптимизированной мобильной конфигурации.
Также доступна компактная версия с 1 млрд параметров, предназначенная для распознавания текста (OCR), работы с графиками, решения математических задач и общего понимания информации.
Обе версии поддерживают контекстное окно размером 256 тысяч токенов. При этом веса моделей, код для инференса и дообучения доступны с открытым исходным кодом.
Лично меня в мультимодальном ИИ больше всего интересует возможность работать с визуальной информацией, не ограничиваясь текстом, а также то, как эффективное и гибкое развёртывание делает подобные технологии доступнее.
Подробнее о MiniCPM-V 4.7 от OpenBMB:
GitHub: https://github.com/OpenBMB/MiniCPM-V
Hugging Face: https://huggingface.co/collections/openbmb/minicpm-v-47
11 117
Векторная база данных — это не полноценная система памяти для LLM, а лишь один из возможных её компонентов.
Постоянная память включает хранение и извлечение данных, управление состоянием, отбор контекста и оценку результатов. В её работе можно выделить два основных процесса.
1\. Запись (Write Path)
Извлечение → Проверка → Согласование → Сохранение
Записи в памяти могут содержать идентификаторы, область действия, сведения о происхождении данных, временные метки и информацию о версиях.
При обновлении данных необходимо сохранять значимую историю изменений и не допускать ситуаций, когда противоречащие друг другу сведения одновременно считаются актуальными.
2\. Чтение (Read Path)
Авторизация → Поиск → Отбор и ранжирование → Формирование контекста → Генерация
Для извлечения информации могут использоваться SQL, полнотекстовый поиск, векторный поиск по сходству, гибридный поиск или обход графов. Выбор метода зависит от структуры данных и характера обращений к ним.
При этом одних показателей сходства недостаточно, чтобы определить достоверность, актуальность информации или наличие прав доступа к ней.
Существует также несколько различных механизмов, которые принято называть памятью LLM:
- Веса модели: информация, закодированная в параметрах модели во время обучения. Обычный инференс не изменяет эти параметры.
- Активный контекст: инструкции, история диалога и извлечённая информация, доступные модели при обработке запроса. Объём этих данных ограничен размером контекстного окна.
- Постоянная память : записи, которыми управляет приложение и которые сохраняются между взаимодействиями с моделью.
- KV-кеш : ранее вычисленные ключи и значения механизма внимания, повторно используемые при авторегрессионной генерации. Он сокращает количество повторных вычислений, но не заменяет постоянное хранилище данных.
RAG извлекает информацию из внешних источников и предоставляет её модели во время генерации ответа. Fine-tuning изменяет параметры самой модели.
Однако ни один из этих подходов сам по себе не решает задачи обновления постоянной памяти, устранения противоречий и управления сроками хранения данных.
Ошибки в работе памяти могут возникать на разных этапах: информация изначально не была сохранена, поиск не смог её обнаружить, была выбрана устаревшая запись, необходимые сведения не попали в сформированный контекст или модель неправильно их использовала.
Поэтому оценка качества системы памяти не должна ограничиваться точностью поиска.
Необходимо проверять способность системы воспроизводить факты, обновлять информацию, учитывать хронологический порядок событий, сохранять согласованность данных между сессиями, разграничивать доступ, отслеживать происхождение сведений и воздерживаться от ответа при недостатке достоверных данных.
Полноценная система памяти должна не просто находить нужную информацию, но и обеспечивать её актуальность, достоверность и доступность для модели в нужный момент.
На схеме подробно представлены эти компоненты, включая жизненный цикл памяти, ограничения контекстного окна, KV-кеширование, стратегии извлечения информации и методы оценки качества.
11 117
«Элементарные дифференциальные уравнения» Уильяма Ф. Тренча — бесплатный университетский учебник, посвящённый фундаментальной теории дифференциальных уравнений.
На более чем 700 страницах представлен всесторонний разбор темы, сочетающий математическую теорию, подробно разобранные примеры и упражнения.
Книга охватывает дифференциальные уравнения первого и второго порядка, численные методы, применение дифференциальных уравнений в механике и электрических цепях, уравнения высших порядков, решения с помощью степенных рядов, преобразования Лапласа, системы дифференциальных уравнений, ряды Фурье, краевые задачи и введение в уравнения с частными производными, включая уравнения теплопроводности и волновые уравнения.
Как и другие учебники, которыми я недавно делился, настоятельно рекомендую добавить эту книгу в свою личную математическую библиотеку. Она будет полезна как тем, кто впервые изучает дифференциальные уравнения, так и тем, кому нужен подробный справочник для повторения основных понятий.
https://digitalcommons.trinity.edu/mono/9/
11 117
Нашёл ещё один отличный курс по ИИ-агентам, лекции которого Университет Карнеги — Меллона (CMU) бесплатно публикует на YouTube.
Курс ведут Грэм Нойбиг, один из создателей OpenHands, и Дэниел Фрид.
Больше всего мне нравится то, насколько тесно содержание курса связано с инструментами, которыми мы пользуемся сегодня. Он охватывает темы, с которыми мы ежедневно сталкиваемся при работе с Claude Code и Codex: инструменты, скиллы, сжатие контекста и агенты для программирования.
Практические задания тоже интересные. В первом задании агент для программирования исправляет ошибки в шахматном приложении, после чего второй агент играет в шахматы в только что исправленном приложении.
Последующие задания посвящены оценке качества работы агентов (evals) и их обучению с помощью обучения с подкреплением (RL). Все три задания находятся в открытом доступе на GitHub.
https://www.youtube.com/playlist?list=PLSN0qpDfUvTM
11 117
Это один из важнейших результатов за всю историю исследований искусственного интеллекта. Без преувеличения.
Если коротко: нейронные сети не представляют собой запутанные клубки взаимосвязей (представление о полисемантичности нейронов ошибочно). Их нейроны можно изучать напрямую, не прибегая к предварительному «распутыванию» с помощью другой модели. 90% нейронов в Qwen-32B выполняют одну определённую функцию.
Ник Каммарата основал команду по исследованию интерпретируемости ИИ в OpenAI, а сейчас работает в Goodfire. Уже десять лет он изучает внутренние механизмы работы больших языковых моделей.
Понимание поведения моделей и его согласование с человеческими целями сейчас важнее, чем когда-либо прежде. Модели уже достигли результатов, превосходящих человеческие возможности в математике, способны взламывать программные системы, работающие в продакшене, и меняют характер интеллектуального труда.
Возможно, именно это исследование наконец позволит нам целенаправленно проектировать большие языковые модели и определять, как они будут себя вести.
Это объёмная, по-настоящему выдающаяся статья, которую стоит прочитать.
https://already-clean.goodfire.com/
11 117
«Book of Proof» Ричарда Хэммака — полностью бесплатный учебник, впервые опубликованный в 2009 году. Он стал своего рода современной классикой для тех, кто хочет научиться читать, понимать и строить математические доказательства.
Книга объёмом почти 400 страниц охватывает теорию множеств, логику, комбинаторику, прямые доказательства, доказательства методом контрапозиции и от противного, математическую индукцию, отношения, функции, доказательства в математическом анализе и мощности множеств. Также в ней много упражнений и решений.
Учебник особенно хорошо подходит студентам первых курсов университетов, которые хотят освоить формальные математические рассуждения и строгие доказательства.
Это одна из тех книг, которые я настоятельно рекомендую иметь в личной библиотеке по математике, особенно учитывая, что она находится в свободном доступе.
https://richardhammack.github.io/BookOfProof/Main.pdf
11 117
Теперь можно просто загрузить изображение и посмотреть, как нейросеть определяет, что на нём изображено.
CNN Explainer позволяет проследить весь процесс обработки:
Пиксели → свёртка → ReLU → пулинг → карты признаков → softmax → предсказание.
Можно переходить между слоями нейросети и изучать фильтры, активации и вычисления, на основе которых формируется результат.
Отличный способ наглядно разобраться в работе свёрточных нейросетей (CNN).
https://poloclub.github.io/cnn-explainer/
11 117
🔴Собес на Дата Инженера с нанимающим из Сбера в субботу в 15:00
17 октября (в эту субботу!) в 15:00 по мск приходи онлайн на открытое собеседование, чтобы посмотреть на настоящее интервью на Middle Дата Инженера.
Как это будет:
📂 Максим Костин, ведущий инженер данных в Сбере, ex-VK проведет собес на дата инженера;
📂 Максим будет задавать реальные вопросы с секций, которые проводил сам и комментировать ответы;
📂 В конце можно будет задать любой вопрос Максиму.
Это бесплатно. Эфир проходит в рамках менторской программы от ШОРТКАТ для разработчиков, которые хотят сменить работу, повысить свой грейд, ЗП и прокачать скиллы.
Переходи в нашего бота, чтобы получить ссылку на эфир → @shortcut_de_bot
Реклама.
О рекламодателе.
11 117
У Nvidia есть открытая модель мира на 2,6 млрд параметров.
Она позволяет превратить изображение, текстовый промпт и траекторию движения камеры в управляемый виртуальный мир.
И всё это на одном GPU.
- Код доступен на GitHub.
- Научная статья опубликована на arXiv.
- Подходит для исследований воплощённого ИИ, робототехники и симуляций.
Модель работает на GPU вроде RTX 5090 или H100, позволяя экспериментировать с моделями мира без необходимости использовать несколько видеокарт.
https://github.com/NVlabs/Sana
11 117
Руководство по подготовке к техническим собеседованиям от разработчика, который получил несколько предложений о работе от Meta, Google, Amazon и Apple.
Традиционный подход к техническим собеседованиям официально устарел.
Если в этом году вы готовитесь к собеседованиям на позиции Senior-разработчика, AI Engineer или Applied Scientist, одного заучивания задач с LeetCode уже недостаточно.
Теперь вас будут спрашивать об агентных циклах, сжатии KV-кеша, деградации RAG-систем и распределённом инференсе больших языковых моделей.
Для этого появилось обновлённое руководство на 2026 год:
https://github.com/alirezadir/AIM
Чем интересен этот репозиторий:
- Актуальная программа на 2026 год. Углублённые модули по генеративному ИИ, ИИ-агентам, мультимодальным системам и физическому ИИ.
- ИИ-репетитор через MCP без спойлеров. Можно подключить прямо к терминалу, Claude или Cursor и проходить интерактивные пробные технические собеседования в реальном времени.
- Полный охват тем. От классического машинного обучения и программирования до проектирования сложных производственных систем.
11 117
Основатели ElevenLabs сейчас, должно быть, дрожат от страха…
Эти ребята только что выпустили голосовую ИИ-модель, которой можно управлять как настоящим актёром.
Больше не нужно вставлять странные специальные коды в текст. Просто пишете «произнеси это так, будто ты окончательно разочаровался в жизни», и модель делает именно это.
Почему это настолько круто:
- Одно слово прозвучало неправильно? Можно изменить только его, оставив всю остальную озвучку без изменений.
- Модель умеет переключаться между голосами прямо посреди предложения.
- Может озвучить целую сцену с несколькими персонажами по одному сценарию.
- Клонирует ваш голос и сохраняет его характер и манеру речи на других языках.
Модель поддерживает 83 языка, а её веса доступны для скачивания по лицензии Fish Audio Community License.
А чтобы продемонстрировать возможности модели, разработчики клонировали голос Uncle Roger и заставили его на протяжении всего ролика разносить собственный жареный рис.
Ахах, это просто прекрасно.
11 117
Сегодня прочитал отличный материал по Harness Engineering — проектированию инфраструктуры для ИИ-агентов.
В нём подробно объясняется, как устроены и создаются ИИ-агенты. Рассматриваются такие темы, как:
- Управление контекстом и памятью.
- Инструменты и MCP.
- Оркестрация агентов.
- Безопасность и управление разрешениями.
- Валидация, наблюдаемость и обработка ошибок.
Отличный ресурс для понимания того, что стоит за работой таких агентов, как Claude Code и Codex.
Документ: https://drive.google.com/file/d/1PT-P2PVoiZpfYoe5eWks1_DGt2aSvbDh/view
11 117
Motion2MixamoRig — инструмент с открытым исходным кодом, который использует машинное обучение для восстановления движений человека по обычному видео и переноса их на 3D-персонажа.
Проект также умеет восстанавливать 3D-позы по фотографиям. Для оценки движений используется модель GVHMR.
Результат можно экспортировать в формате GLB и использовать в Blender или Unity. Для Blender 4.2+ уже доступно отдельное расширение.
https://github.com/MaxLiu22/Motion2MixamoRig
11 117
«Матричное дифференциальное исчисление для машинного обучения и не только» — бесплатный курс лекционных материалов MIT, посвящённый математике производных векторов и матриц.
Материалы охватывают градиенты, якобианы, производные матричных функций, дифференциалы, производные произведений матриц, обратных матриц и определителей, произведения Кронекера, оптимизацию и автоматическое дифференцирование. Также рассматривается применение этих методов в машинном обучении.
На мой взгляд, это полезный ресурс для тех, кто уже знаком с основами линейной алгебры и математического анализа и хочет разобраться, как дифференцирование обобщается на векторы и матрицы и применяется в современных задачах оптимизации.
https://ocw.mit.edu/courses/18-s096-matrix-calculus-for-machine-learning-and-beyond-january-iap-2023/mit18_s096iap23_lec_full.pdf
11 117
NVIDIA выпустила мультимодальную аудиомодель на 2 млрд параметров, которая не просто распознаёт речь, но и понимает окружающие звуки.
Одна модель объединяет транскрибацию, перевод речи, распознавание звуков, ответы на вопросы по аудио, синтез речи и полноценное преобразование речи в речь.
Веса модели открыты.
https://huggingface.co/spaces/nvidia/Nemotron-Labs-Audex
11 117
NVIDIA действительно устранила одно из главных ограничений голосового ИИ.
Компания открыла исходный код PersonaPlex-7B — разговорной модели с полнодуплексным режимом, которая умеет одновременно слушать и говорить.
Вместо того чтобы ждать, пока пользователь закончит говорить, модель использует двухпоточную архитектуру для обработки речи и ответа в реальном времени.
Полностью открытый исходный код и бесплатное использование.
https://github.com/NVIDIA/personaplex
11 117
Reasoning From Scratch: обучение с подкреплением с проверяемыми наградами (RLVR), часть 2. Разбираем ограничение отношений вероятностей политик, KL-слагаемое в функции потерь, награды за формат ответа и другие приёмы работы с GRPO.
00:00 Введение и повторение пройденного
01:52 Интерпретация основных метрик обучения GRPO
06:34 Планируемые улучшения GRPO
08:58 Запуск длительного обучения с помощью Python-скриптов
13:39 Запуск базового скрипта обучения GRPO
17:29 Загрузка журналов обучения и построение графиков
19:29 Диагностика нестабильного обучения
23:55 Оценка контрольных точек модели на MATH-500
26:26 Скачивание готовых контрольных точек модели
30:09 Отслеживание статистики преимущества
34:53 Что такое энтропия
40:32 Вычисление энтропии в PyTorch
44:17 Интерпретация значений энтропии
48:58 Добавление отслеживания энтропии в GRPO
53:36 Анализ метрик преимущества и энтропии
56:18 Стабилизация GRPO с помощью ограничения отношений вероятностей политик
1:03:27 Реализация функции потерь политики с ограничением
1:09:39 Анализ результатов обучения с ограничением отношений вероятностей политик
1:11:25 KL-дивергенция и обход системы наград
1:15:12 Добавление KL-слагаемого в функцию потерь
1:20:34 Ограничения упрощённой функции потерь с KL
1:23:04 Награды за формат ответа и теги think
1:25:47 Добавление специальных токенов в токенизатор
1:30:29 Реализация награды за формат ответа
1:35:56 Анализ обучения с наградой за формат ответа
1:38:25 Награда за формат только при правильном ответе
1:40:48 Дальнейшие улучшения GRPO из исследований
1:45:43 Следующие шаги и дистилляция
https://youtu.be/VxfUrUrrczs?si=2suHmPhPic6JC_xU
11 117
Сейчас в сфере ИИ есть два карьерных пути:
Первый — разработчик, который умеет создавать приложения с помощью API языковых моделей.
Второй — архитектор, который понимает, как устроены сами языковые модели и системы на их основе.
Если хотите двигаться в сторону второго, у Стэнфорда есть один из лучших бесплатных курсов по разработке LLM — CS336: Language Modeling from Scratch.
Курс 2026 года состоит из 18 лекций и охватывает практически весь технологический стек языковых моделей:
— Архитектура моделей: токенизация, трансформеры, различные архитектуры и MoE.
— Аппаратное обеспечение: FLOPs, память, GPU и TPU.
— Оптимизация производительности: Triton, GPU-ядра, параллелизм и распределённое обучение.
— Обучение моделей: законы масштабирования, сбор, фильтрация и дедупликация данных.
— Запуск моделей: инференс и оценка качества.
— Дообучение: SFT, RLHF и RLVR.
Отдельно рассматривается мультимодальность.
Причём обучение не ограничивается просмотром лекций. Студенты самостоятельно реализуют токенизатор, трансформер и оптимизатор, пишут FlashAttention2 на Triton, создают систему распределённого обучения с эффективным использованием памяти и превращают сырые данные Common Crawl в датасет для предобучения.
Также они экспериментально определяют закон масштабирования и используют SFT вместе с обучением с подкреплением, чтобы научить языковую модель решать математические задачи.
По словам Стэнфорда, на этом курсе студенты пишут как минимум на порядок больше кода, чем на большинстве других курсов по ИИ.
Stanford CS336, весна 2026 года. 18 лекций, бесплатно на YouTube.
https://www.youtube.com/playlist?list=PLoROMvodv4rMqXOcazWaTUHhq-yembLCV
Выбирайте свой путь.
11 117
«Scaling Laws, Carefully» — отличная статья Лилиан Венг, посвящённая математическим основам законов масштабирования в глубоком обучении. В ней объясняется, как качество моделей зависит от количества параметров, объёма обучающих данных и вычислительных ресурсов.
Статья охватывает степенные зависимости, законы масштабирования Каплана и Chinchilla, оптимальное использование вычислительных ресурсов при обучении, ограничения обучающих данных и сложности прогнозирования качества более крупных моделей.
В материале представлены формулы, результаты экспериментов и ссылки на оригинальные научные работы. Это очень полезный ресурс для понимания математики, лежащей в основе масштабирования больших языковых моделей.
https://lilianweng.github.io/posts/2026-06-24-scaling-laws/
