Data Portal | DS & ML

Реализация нейронной сети с нуля на чистом ассемблере x86-64 Да, всё верно. Будем делать это на максимально низком уровне. В этой статье мы реализуем небольшую нейросеть для XOR на ассемблере x86-64. Без библиотек. Без упрощений. Только ты и процессор. Требования: нужно понимать базу нейронных сетей (слои, веса, смещения, функции активации). Опыт с ассемблером будет плюсом, но по ходу будут объяснения. Понадобятся NASM и GCC, установленные на Linux-системе. 👉 @DataSciencegx

GitHub массово выкатил инструмент, который снижает расходы на ИИ примерно на 75%. И большинство разработчиков пока его игнорируют. Caveman — скилл для Claude Code, который заставляет модель отвечать в максимально сжатом «пещерном» стиле. ↳ убирает весь филлер, хеджирование и вежливые формулировки ↳ сохраняет 100% технической точности ↳ снижает количество выходных токенов до ~75% ↳ автоматически возвращается к нормальному английскому для критичных предупреждений по безопасности ↳ работает как обычный скилл для Claude Code — без сложной настройки ↳ устанавливается одной строкой в проект Почему это важно: Основная часть затрат на ИИ уходит на «вежливость». "I'd be happy to help you with that! Here's a comprehensive overview..." Это ~20 токенов до начала ответа. Caveman убирает это полностью. На выходе — прямые, короткие, технически точные ответы без лишнего. Ключевая деталь: скилл понимает, когда нужно вернуть нормальный стиль — например, при предупреждениях безопасности или потенциально разрушающих операциях. По сути, это один из самых практичных приёмов промпт-инжиниринга, упакованный в готовый скилл. https://github.com/JuliusBrussee/caveman 👉 @DataSciencegx

Что если эксперименты в ML могли бы крутиться всю ночь и сохранять только те изменения, которые реально улучшают метрики? Ручной запуск — это цикл: меняешь один гиперпараметр, ждёшь обучение, смотришь результат и повторяешь. Прогресс останавливается, как только ты отходишь, и исследуется только узкий набор гипотез. Autoresearch — опенсорс-фреймворк, который решает это через автономный цикл. Агент фиксирует каждое изменение в git, запускает обучение на ~5 минут и проверяет, улучшилась ли модель. Если метрика выросла — изменение остаётся. Если нет — происходит откат к последнему валидному состоянию. Ключевые преимущества: • Снимки через git перед каждым экспериментом с мгновенным откатом • Структурированный лог результатов, который переживает падения и хранит все попытки • Непрерывный цикл без необходимости подтверждения со стороны пользователя https://github.com/karpathy/autoresearch 👉 @DataSciencegx

Трансформация профессии разработчика в эпоху ИИ Профессия разработчика меняется прямо сейчас: ИИ уже пишет код, предлагает архитектуру и собирает прототипы за минуты. Но без фундаментальных знаний архитектуры, алгоритмов, сетей, безопасности и DevOps использовать такие инструменты рискованно. Центральный университет запускает серию бесплатных вебинаров о том, как меняется роль разработчика в 2026 году, какие навыки остаются критически важными и как безопасно и эффективно использовать нейросети в разработке. На вебинарах разберем: — почему ИИ не заменит программиста, но изменит его роль; — какие навыки и языки будут востребованы; — чего ждут работодатели от разработчиков сегодня; — почему магистратура по бэкенд-разработке может стать преимуществом; — как вырасти в техлида и тимлида, не теряя технических экспертных знаний. Спикеры — лидеры индустрии из Центрального университета, Авито и cloud. ru. Даты вебинаров: 21, 23 и 27 апреля 2026, 19:00 мск. Регистрируйся по ссылке

«NAND» для непрерывной математики. Один бинарный оператор вместе с константой 1 порождает любые элементарные функции:   eml(x, y) = eˣ − ln(y) • e = eml(1, 1) • eˣ = eml(x, 1) • ln(x) = eml(1, eml(eml(1, x), 1)) Собран интерактивный ноутбук для исследования идеи: можно менять x и наблюдать, как значения распространяются по узлам в реальном времени. https://arxiv.org/abs/2603.21852 👉 @DataSciencegx

Машинное обучение глазами новичка в data science 👉 @DataSciencegx

🇷🇺Разбираешься в радиочипах, оптике и связи? Забери до 2 000 000 рублей за свои инженерные навыки на турнире «Дронкон»🇷🇺 «Сталинские Соколы» открывают регистрацию на 3-й Всероссийский турнир «Дронкон», который пройдет с 8 по 14 мая. 2 направления для победы: - Инженерное дело: беспроводная связь, радиочипы и оптические системы + стратегия «Битва Дронов»; - Пилотирование: War Thunder, GeoGuessr и FPV-гонки + стратегия «Битва Дронов». Призовой фонд для победителей одной дисциплины: 🥇место – 2 000 000 рублей 🥈место – 1 500 000 рублей 🥉место – 1 000 000 рублей Награда за 4-8 места - 150 000 рублей Пройди заочный онлайн-этап и получи путевку на очный этап турнира в Республику Татарстан! Перелет, питание, проживание - за счет организаторов. 🇷🇺 Подать заявку и узнать подробности 🇷🇺

Наш слон: собрал полноценный движок инференса LLM на C#/.NET 10. С нуля. 🐘 Не обёртка — нативная загрузка GGUF, токенизатор BPE, механизм внимания, KV-кэш, SIMD-векторизованные CPU-ядра, CUDA-бэкенд для GPU, API, совместимый с OpenAI. Один разработчик, ~2 месяца, с использованием ИИ (без вайбкодинга). Первый превью-релиз уже доступен. Подробнее: https://kokosa.dev/blog/2026/dotllm/ и https://dotllm.dev/ 👉 @DataSciencegx

безумные результаты в цифровой логике известно, что одного вентиля NAND достаточно, чтобы собрать любую булеву схему. AND, OR, NOT, XOR — всё сводится к NAND. Аналога для непрерывной математики, той, что используется в научных калькуляторах (sin, cos, log, exp, sqrt и т.д.), долгое время не находили. В этой работе показано, что один бинарный оператор покрывает это: например eml(1, eml(eml(1, x), 1)) = ln(x) и eml(x, 1) = exp(x) - ln(1) = exp(x) - 0 = exp(x) когда есть ln(x) и exp(x), всё остальное можно получить, применяя тот же оператор снова и снова 👉 @DataSciencegx

Растущий кеш ключей-значений в механизме внимания — ключевой компонент для работы языковых моделей с длинным контекстом. Но что ограничивает модули долговременной памяти (например, Titans)? Что если совместить сжатие контекста как у Titans с растущей памятью, как у трансформеров? Кеширование памяти: класс архитектур, которые сжимают контекст в медленно растущую память (она растёт медленнее, чем у трансформеров, но не фиксирована, как у рекуррентных сетей), в результате получаются рекуррентные нейросети с нефиксированным размером памяти (скрытого состояния). На основе этой идеи предлагается разреженное селективное кеширование — архитектура с эффективно растущей памятью (как у внимания), но с почти постоянной стоимостью инференса на токен (как у рекуррентных сетей). В статье в основном рассматриваются: (1) общая основа для механизма внимания с softmax и модулей долговременной памяти фиксированного размера (или рекуррентных нейросетей), которая позволила спроектировать архитектуру, совмещающую преимущества обоих подходов; (2) различные варианты кеширования памяти, включая вариант, где эффективный объём памяти растёт, при этом стоимость декодирования остаётся «постоянной»; (3) единая перспектива для понимания гибридных моделей, в которых комбинируются механизм внимания и рекуррентные модели. 👉 @DataSciencegx

Технический вопрос на собеседовании по большим языковым моделям: У вас есть 80 000 траекторий агента из продакшена. Нужно выбрать те, которые стоит отправить на ревью, чтобы улучшить агента. Использовать большие языковые модели для оценки траекторий нельзя. Как будете решать задачу? Самый простой вариант — случайная выборка. Берём 100 случайных траекторий и отдаём их на ручное ревью. Но в продакшене агенты обычно нормально обрабатывают типовые запросы, поэтому значительная часть бюджета аннотации уходит на шум. Другой подход — фильтровать длинные диалоги, предполагая, что 10+ сообщений пользователя означают более сложный сценарий. Но длинные диалоги сильно смещены в сторону явных фейлов. В итоге вы находите очевидные сбои и пропускаете тонкие проблемы в сценариях, где агент формально справился. В недавней работе от DigitalOcean предложен другой подход: вычислять лёгкие поведенческие сигналы напрямую из данных траекторий с помощью детерминированных правил поверх диалогов и логов выполнения. Сигналы делятся на три группы: 1. Сигналы взаимодействия — из диалога пользователь–агент. Если пользователь переформулирует один и тот же запрос или исправляет агента — это рассинхронизация. Если агент повторяется без прогресса — стагнация. Запрос оператора или прекращение диалога — потеря вовлечённости. Подтверждение, что всё сработало — удовлетворённость. Всё это определяется через нормализованное сопоставление фраз и проверку схожести соседних реплик. 2. Сигналы выполнения — из вызовов инструментов и событий рантайма. Вызов инструмента, который возвращает пустой результат или не двигает задачу, считается фейлом. Повторяющиеся вызовы с одинаковыми или «плывущими» входами указывают на цикл. Эти сигналы легко извлекаются из структурированных логов выполнения. 3. Сигналы окружения — ограничения по частоте, переполнение контекста, ошибки API. Полезны для диагностики, но не подходят для обучения, так как отражают ограничения системы, а не решения агента. Каждой траектории присваивается скор на основе сработавших сигналов, после чего на ревью отправляются траектории с наибольшим сигналом. На τ-bench сравнили три подхода на 100 траекториях: - Случайная выборка — 54% информативности - Эвристика по длине — 74% - Сигнальный подход — 82% То есть примерно 4 из 5 выбранных траекторий действительно полезны для улучшения агента. Даже среди диалогов, где агент корректно выполнил задачу, сигнальный подход находил полезные паттерны в 66.7% случаев против 41.3% у случайной выборки. Это скрытые проблемы: нарушения политик, неэффективное использование инструментов, лишние шаги. Задача формально выполнена, но есть потенциал для оптимизации. Весь пайплайн работает без накладных расходов на большие языковые модели и может постоянно работать в продакшене, размечая каждую траекторию на входе. Если нужна практическая реализация, этот подход уже интегрирован в Plano — опенсорс прокси для ИИ, который объединяет маршрутизацию, оркестрацию, защитные ограничения и наблюдаемость. GitHub → https://github.com/katanemo/plano Статья → https://arxiv.org/pdf/2604.00356 👉 @DataSciencegx

Я хочу использовать ИИ для формальных доказательств математических теорем, но большинство инструментов этого не поддерживают, а собрать собственный воркфлоу с нуля — очень высокий порог входа. Случайно наткнулся на опенсорс-проект под названием MathCode. Он принимает описание математической задачи на естественном языке и автоматически конвертирует его в теоремы для Lean 4, после чего пытается завершить формальное доказательство. Проще говоря, это ассистент для доказательства теорем прямо в терминале. Вводишь фразу вроде «Докажи, что квадрат чётного числа — чётный», и он сам проходит весь пайплайн: от формализации до доказательства. Также есть интеграция с Lean LSP, которая позволяет автоматически подтягивать существующие леммы из библиотеки Mathlib для помощи в доказательствах. Если возникают ошибки компиляции, система автоматически их исправляет и делает ретраи, до десяти итераций. Поддерживается генерация графов знаний в Obsidian для визуализации зависимостей между теоремами и леммами. Есть параллельный запуск нескольких планировщиков, чтобы одновременно прогонять разные стратегии доказательства и находить оптимальное решение. Если интересна формальная верификация математики или вы используете Lean 4 и считаете ручной процесс слишком трудоёмким, этот инструмент стоит попробовать. 👉 @DataSciencegx

Полное глобальное внимание vs чередующееся внимание, визуальное объяснение: 👉 @DataSciencegx

NVIDIA и Unsloth выпустили одно из лучших практических руководств по созданию RL-окружений с нуля, закрывая пробелы, которые пропускает большинство туториалов. Включает: - Почему RL-окружения важны + как их строить - Когда RL превосходит SFT - Лучшие практики GRPO и RL - Как работают проверяемые награды и RLVR https://unsloth.ai/blog/rl-environments 👉 @DataSciencegx

На Stepik добавили курс «Git с нуля» Этот курс закрывает всю обязательную базу по Git для работы в IT. Подойдёт для:

- разработчиков - девопсов, админов и безопасников - аналитиков, data- и ML-специалистов - тестировщиков - всех, кто хочет уверенно работать с Git в команде

Внутри вся основа, которая реально нужна на практике: от основ системы контроля версий и архитектуры Git до работы с ветками, merge, конфликтами и GitHub. Всё сразу закрепляется на практике с помощью заданий с автопроверкой Материал подаётся простым языком, шаг за шагом, с акцентом на понимание того, как Git работает под капотом, а не просто на запоминание команд После прохождения вы получите сертификат, который можно добавить в резюме В ближайшие 48ч курс доступен со скидкой 25% по промокоду «GIT25»: открыть курс на Stepik

Flash Attention — серия: разбор Softmax Flash Attention — один из ключевых современных алгоритмов attention. В его основе лежит online softmax, и понимание этого механизма сильно упрощает понимание Flash Attention. В PyTorch softmax определяется как функция, применяемая к N-мерному тензору, где выходной тензор нормализуется в диапазон [0, 1], а сумма всех элементов равна 1. Читать статью 👉 @DataSciencegx

Это уже следующий уровень. MegaTrain: > LLM с 100B+ параметров, обученные на одной GPU Это будет только развиваться. В недалёком будущем… У каждого человека будет свой персональный GPU с персональным сверхинтеллектом, который он обучил у себя дома. 👉 @DataSciencegx

Айтишники не рассказывают где учатся бесплатно и эффективно Никому не говори об этом канале!!! В сфере онлайн образования появился новый гигант «TERMINAL» который разрушит индустрию платных курсов Бесплатный доступ:

🔄Практические курсы и задания 🔄Книги и статьи от профи 🔄Полезные инструменты и ресурсы 🔄IT-новости и инсайды

Обучение по всем направлениям: SQL, Python, Frontend, PHP, C++, Golang, GIT, Linux, Java, кибербезопасность и др. Если ценишь знания подпишись: @Terminal_tg

MIT доказал, что можно удалить 90% нейросети без потери точности. Исследователи обнаружили, что внутри каждой большой модели есть «выигрышный билет» (winning ticket) — маленькая подсеть, которая выполняет основную работу. Они доказали: если найти её и сбросить в исходное состояние, она будет работать так же, как и вся большая модель. Но был нюанс, который сразу убил практическое применение… чтобы найти этот «билет», нужно сначала обучить полную модель. никто не хотел обучать модель дважды ради одного деплоя. это выглядело круто в академической среде, но было бесполезно в продакшене. Оригинальная статья 2018 года была по-настоящему впечатляющей. Но сегодня, спустя 8 лет… мы наконец получили прорыв на уровне железа: структурированная разреженность Современные GPU (NVIDIA Ampere и новее) больше не просто «эмулируют» прунинг. У них есть нативная поддержка блочной разреженности (паттерны 2:4), встроенная прямо в железо. Это не теория — это ускорение на уровне силикона. Математика выглядит очень убедительно: сеть с 90% разреженности = на 50% меньше пропускной способности памяти + 2× пропускная способность вычислений. Реальное ускорение без потери точности. Три фактора сделали это готовым к продакшену в 2026: - обучение с учётом прунинга (модель изначально обучается разреженной) - нативная поддержка в PyTorch 2.0 и Apple Neural Engine - понимание того, что AI-модели по своей природе на 90% избыточны Эволюция переусложняет системы. Мы наконец научились их «прореживать». Эпоха раздутых и неэффективных моделей официально закончилась. Инструменты наконец догнали теорию, и выигрывать будут те, кто перестанет платить за 90% весов, которые им не нужны. Будущее AI — это более компактные, быстрые и эффективные модели. 👉 @DataSciencegx

Смотрите статью: https://arxiv.org/abs/2604.08407 🍺 👉 @DataSciencegx