Data Portal | DS & ML
Open in Telegram
Всё самое интересное из мира LLM, Data Science и машинного обучения adds: @devmangx Автор: @ScienceLLM
Show more
Network:8 424
Subscribers
-324 hours
+557 days
+2630 days
Data loading in progress...
Similar Channels
Tags Cloud
Incoming and Outgoing Mentions
---
---
---
---
---
---
Attracting Subscribers
August '26
August '26
+152
in 4 channels
July '26
+92
in 0 channels
Get PRO
June '26
+224
in 5 channels
Get PRO
May '26
+92
in 2 channels
Get PRO
April '26
+48
in 0 channels
Get PRO
March '26
+61
in 1 channels
Get PRO
February '26
+48
in 1 channels
Get PRO
January '26
+52
in 2 channels
Get PRO
December '25
+183
in 8 channels
Get PRO
November '25
+715
in 318 channels
Get PRO
October '25
+29
in 0 channels
Get PRO
September '25
+44
in 0 channels
Get PRO
August '25
+80
in 0 channels
Get PRO
July '25
+1 123
in 264 channels
Get PRO
June '25
+283
in 2 channels
Get PRO
May '25
+147
in 1 channels
Get PRO
April '25
+662
in 2 channels
Get PRO
March '25
+591
in 0 channels
Get PRO
February '25
+507
in 0 channels
Get PRO
January '25
+651
in 0 channels
Get PRO
December '24
+1 342
in 404 channels
Get PRO
November '24
+509
in 164 channels
Get PRO
October '24
+1 048
in 285 channels
Get PRO
September '24
+887
in 281 channels
Get PRO
August '24
+1 933
in 234 channels
| Date | Subscriber Growth | Mentions | Channels | |
| 26 August | +2 | |||
| 25 August | +3 | |||
| 24 August | +17 | |||
| 23 August | +7 | |||
| 22 August | +41 | |||
| 21 August | +6 | |||
| 20 August | +6 | |||
| 19 August | +5 | |||
| 18 August | +3 | |||
| 17 August | 0 | |||
| 16 August | +3 | |||
| 15 August | +3 | |||
| 14 August | +2 | |||
| 13 August | +2 | |||
| 12 August | +3 | |||
| 11 August | +30 | |||
| 10 August | +5 | |||
| 09 August | +1 | |||
| 08 August | 0 | |||
| 07 August | 0 | |||
| 06 August | +3 | |||
| 05 August | +2 | |||
| 04 August | +1 | |||
| 03 August | +5 | |||
| 02 August | 0 | |||
| 01 August | +2 |
Channel Posts
Использование искусственного интеллекта как полноценного участника команды при анализе данных.
Курс Габора Бекеша «Data Analysis with AI», обновлённый летом 2026 года, больше ориентирован на практику, чем на теорию.
И при этом он полностью бесплатный и с открытым исходным кодом.
https://gabors-data-analysis.com/ai-course/
| 2 |  Бесплатный курс по современной робототехнике.
Учебник Modern Robotics Кевина Линча и Фрэнка Парка теперь доступен в формате полноценного курса на YouTube.
В программе шесть частей. Основы движения роботов, кинематика, динамика, планирование и управление движением, манипуляция и колёсные мобильные роботы, а в конце итоговый проект по мобильной манипуляции.
Разбираются пространство конфигураций, движения твёрдых тел, прямая и обратная кинематика, динамика, построение траекторий, планирование движения, управление роботами, захват объектов и мобильные роботы.
Вместе с курсом доступны задачи с решениями, экзамены Seoul National University за 2017–2020 годы, видеолекции и код на Python, MATLAB и Mathematica.
Курс можно пройти бесплатно на YouTube. | 527 |
| 3 | Нашёл отличный открытый курс от Zhejiang University — Large Model Basics.
У проекта уже больше 16 тысяч звёзд на GitHub, и это не просто один учебник.
Внутри последовательно разобраны Transformer, архитектуры больших моделей, промпты, цепочки рассуждений, LoRA, редактирование моделей, RAG и другие базовые темы.
Но самое полезное здесь — структура.
К каждой главе приложен список оригинальных научных работ. Отдельно собраны классические статьи и еженедельные подборки с arXiv.
То есть можно сначала разобраться в теме по учебнику, а потом сразу идти в первоисточники.
Сейчас многие изучают LLM очень фрагментарно. Сегодня агенты, завтра обучение с подкреплением, послезавтра Harness.
В итоге знаний становится много, но между ними остаются огромные дыры.
А этот репозиторий как раз выглядит как нормальная карта, по которой можно системно закрыть фундамент.
https://github.com/ZJU-LLMs/Foundations-of-LLMs | 598 |
| 4 |  ❗️ Распространите ❗️
Найден ИИ-ассистент, который реально экономит рабочее время и не сливает корпоративные данные
Сотрудникам не придется тратить время на поиск информации по разрозненным документам, регламентам и ссылкам. С корпоративным ИИ-ассистентом от Selectel и KTS все собрано в единой базе знаний с умным поиском.
С вас — запросы на естественном языке, с ассистента — мгновенные структурированные ответы, краткие выжимки и ключевые тезисы по внутренним файлам, черновики документов и многое другое.
Решение подойдет компаниям даже со строгими требованиями к безопасности:
✨ Ассистент автоматически маскирует чувствительные данные в запросах и проверяет их на соответствие политикам безопасности.
✨ Продукт можно интегрировать с корпоративными системами управления доступом и разграничить права пользователей при работе с информацией.
✨ Решение можно развернуть как в облаке Selectel, так и в вашем контуре – в этом случае Selectel предоставляет серверы с GPU в аренду на вашей площадке.
Корпоративного ИИ-ассистента можно внедрить всего за 2 недели, включая настройку решения под данные и процессы компании.
Протестируйте и убедитесь сами ✨ клик | 602 |
| 5 | ❗️ Распространите ❗️
Найден ИИ-ассистент, который реально экономит рабочее время и не сливает корпоративные данные
Сотрудникам не придется тратить время на поиск информации по разрозненным документам, регламентам и ссылкам. С корпоративным ИИ-ассистентом от Selectel и KTS все собрано в единой базе знаний с умным поиском.
С вас — запросы на естественном языке, с ассистента — мгновенные структурированные ответы, краткие выжимки и ключевые тезисы по внутренним файлам, черновики документов и многое другое.
Решение подойдет компаниям даже со строгими требованиями к безопасности:
✨ Ассистент автоматически маскирует чувствительные данные в запросах и проверяет их на соответствие политикам безопасности.
✨ Продукт можно интегрировать с корпоративными системами управления доступом и разграничить права пользователей при работе с информацией.
✨ Решение можно развернуть как в облаке Selectel, так и в вашем контуре – в этом случае Selectel предоставляет серверы с GPU в аренду на вашей площадке.
Корпоративного ИИ-ассистента можно внедрить всего за 2 недели, включая настройку решения под данные и процессы компании.
Протестируйте и убедитесь сами ✨ клик | 1 |
| 6 | «Learning Mathematics» — самая читаемая публикация за всю историю алгебры.
Автор очень лично рассказывает о том, что математика — не что-то, доступное только людям с особым талантом или врождённым даром.
Ей может научиться каждый — постепенно, шаг за шагом, с практикой, временем и упорством.
Если вы хотя бы раз думали «математика просто не для меня», возможно, эту статью стоит прочитать.
https://algebrica.org/learning-mathematics/ | 637 |
| 7 |  Полный курс по Hugging Face Transformers.
Что вы изучите:
— Поймёте устройство трансформеров и LLM без отношения к ним как к «чёрному ящику»
— Разберётесь, как модели обучаются, оптимизируются и улучшаются на данных
— Научитесь работать с последовательностями, текстом и задачами языкового моделирования
— Сформируете практическое понимание этой части LLM и генеративного ИИ
— Разберётесь с последовательностными моделями вроде RNN и LSTM для задач обработки естественного языка
https://www.youtube.com/playlist?list=PLOj3JD_j8uXEsxFZGcRyjI_ZawoSvCfti | 656 |
| 8 |  Если хотите разобраться, как обучить большую модель с нуля, рекомендую посмотреть вот это ↓
Сооснователь ARC Prize и создатель Keras Франсуа Шолле недавно посоветовал путь для изучения LLM с нуля.
Он сказал, что если вам 17 лет или вообще сколько угодно и вы хотите с нуля научиться создавать LLM, просто прочитайте главы 15 и 16 его книги *Deep Learning with Python*.
Я бегло их просмотрел, и эти две главы точно стоит сохранить.
Глава 15 начинается с самых базовых языковых моделей и постепенно доходит до
Character-level Language Model → Seq2Seq → Attention → QKV → Scaled Dot-Product Attention → Multi-Head Attention → Self-Attention → Transformer
Там даже есть отдельный раздел с объяснением того, почему вообще работает Dot-Product Attention.
Сам он говорит, что это одно из лучших объяснений этой темы.
Автор не останавливается на формулах вроде QKᵀ / √d. Он начинает с Word2Vec и пространства эмбеддингов, а затем объясняет, как Transformer слой за слоем через Attention постепенно превращает связи между токенами в отношения расстояний в векторном пространстве.
Глава 16 ещё практичнее. В ней напрямую показывают, как обучить mini-GPT с нуля.
Разбирается, как взять почти 1 миллиард токенов из C4, собрать словарь SentencePiece на 32 тысячи токенов, настроить mini-GPT на 41 миллион параметров с 8 слоями, 8 головами внимания и размером скрытого состояния 512, а затем самостоятельно собрать конвейер данных, сделать weight tying, прогрев скорости обучения, предобучение и генерацию с temperature и top-k.
От токенизатора, конвейера данных, causal attention, weight tying и прогрева скорости обучения до предобучения, greedy decoding, temperature и top-k sampling. По сути, вас шаг за шагом проводят через полный процесс обучения GPT.
Для этого даже не нужен дорогой сервер.
В официальном примечании указано, что весь пример можно запустить на бесплатной T4 в Google Colab. Обучение займёт около 6 часов. На A100 — чуть больше часа.
Дальше в книге разбираются Gemma, SFT, RLHF, RAG и мультимодальные модели.
Поэтому если меня спросят
«Я никогда раньше не обучал большую модель. С чего начать?»
Эти две главы действительно могут быть отличной отправной точкой.
Третье издание *Deep Learning with Python* сейчас доступно для бесплатного чтения онлайн, а все сопутствующие ноутбуки полностью открыты. Их можно просто загрузить в Colab и запустить.
В 2026 году для изучения LLM уже необязательно сразу садиться и разбирать сотню научных статей.
Если один раз самостоятельно обучить GPT на 41 миллион параметров от подготовки данных до генерации текста, очень многие концепции после этого естественным образом складываются в единую картину.
👉 @PythonPortal | 629 |
| 9 |  Лекции курса «Machine Learning & Causal Inference: A Short Course», подготовленного профессором Стэнфордского университета Сьюзан Эйти, можно посмотреть по ссылке ниже.
https://youtube.com/playlist?list=PLxq_lXOUlvQAoWZEqhRqHNezS30lI49G-&si=uwNV2GcR4yOBQA_d | 690 |
| 10 |  «Complex Analysis» — ещё один большой открытый учебник по основам комплексного анализа объёмом более 470 страниц.
Он рассчитан на студентов математики, физики и инженерных специальностей и охватывает комплексные числа и функции, аналитические и гармонические функции, контурное интегрирование, ряды Тейлора и Лорана, теорию вычетов, конформные отображения, ряды Фурье, а также преобразования Фурье и Лапласа.
Материал начинается с базовых тем и постепенно переходит к более сложным. Для чтения желательно уже знать математический анализ, особенно функции нескольких переменных.
При этом учебник написан очень понятно, в нём много примеров, приложений и упражнений.
Я бы сохранил его как хороший справочник. Учебник полностью открыт и доступен бесплатно.
https://complexanalysis.org/howell-complex-analysis-web.pdf | 726 |
| 11 |  Вышел, пожалуй, самый полный список материалов для изучения производительности GPU и ИИ.
Новая версия начинается с разбора того, как выполняется один запрос на инференс, а затем постепенно переходит к модели выполнения CUDA, Roofline, вычислительной арифметике трансформеров, TTFT, TPOT, goodput и оптимизации ядер.
Именно эти материалы мы используем, чтобы глубоко разобраться в том, как оптимизировать системы инференса.
Также добавили FlashAttention-4, Tensor Memory в Blackwell и низкоточные тензорные ядра, непрерывный батчинг, системы KV-кэша, квантизацию, спекулятивное и структурированное декодирование.
Отдельно разбираются обслуживание MoE-моделей, коллективные операции, топология, разделение prefill и decode, а также Blackwell Ultra, MI350/CDNA 4, Ironwood и Trainium3.
Ещё появились KernelBench-Verified и SOL-ExecBench, плюс отдельный список технологий, за которыми стоит следить — Rubin и CDNA 5.
https://github.com/wafer-ai/gpu-perf-engineering-resources | 738 |
| 12 |  City2Graph — новая библиотека на Python, которая превращает геопространственные данные вроде зданий, улиц и маршрутов общественного транспорта в гетерогенные графы.
Она связывает GeoPandas с PyTorch Geometric, чтобы такие городские данные можно было напрямую использовать в графовом машинном обучении.
https://github.com/c2g-dev/city2graph | 3 646 |
| 13 | Высокоуровневые библиотеки машинного обучения упрощают обучение с подкреплением, но могут скрывать то, что на самом деле происходит внутри.
В этом курсе вы с нуля создадите полноценный фреймворк для обучения с подкреплением на чистом C.
Вы реализуете автоматическое дифференцирование, матричные операции и конвейер обучения методом градиента политики. А заодно создадите симуляцию игры «Змейка».
https://freecodecamp.org/news/building-a-reinforcement-learning-framework-from-scratch-in-pure-c/ | 763 |
| 14 | Интерактивный учебник на 7 500 строк, который учит с нуля собирать современную языковую модель.
Весь путь реализован на Python, а код подробно прокомментирован, чтобы можно было последовательно разобраться, как устроено обучение GPT-подобной модели, а не просто запускать готовые библиотеки.
https://github.com/raiyanyahya/how-to-train-your-gpt | 770 |
| 15 |  «Functional Analysis» — строгий продвинутый учебник по математике объёмом более 700 страниц для магистрантов, аспирантов и читателей с хорошей математической подготовкой.
В книге разбираются пространства Банаха и Гильберта, ограниченные операторы, двойственность, теоремы Хана — Банаха, топологии, спектральная теория, краевые задачи, теория полугрупп и приложения к квантовой механике, а также многие другие темы.
Для чтения нужна уверенная база по вещественному анализу и интегралу Лебега, поэтому это точно не вводный материал.
Делюсь, потому что книга очень полная, хорошо написана и её определённо стоит сохранить, если вы изучаете продвинутый математический анализ.
https://arxiv.org/pdf/2112.11166 | 775 |
| 16 |  Безумие: теперь можно буквально в прямом эфире смотреть, как обучают модель на 535 млрд параметров.
Профессор Стэнфорда и основатель simile_ai Перси Лян только что объявил, что на этой неделе официально стартует обучение их новой модели Marin 535B-A23B. И весь процесс обучения будет полностью открытым.
У Marin 535 млрд параметров, из которых 23 млрд активны. Для обучения команда подготовила 18,75 трлн токенов данных и развернула 11 стоек GB200 NVL72 — это примерно 792 ускорителя GB200.
Обучение планируют вести непрерывно около трёх месяцев. Общий объём вычислений составит примерно 2,7×10²⁴ FLOPs. После этого начнётся дополнительное обучение модели.
И самое интересное — Marin действительно открывает весь процесс.
Перед запуском основной модели команда сначала обучила так называемую Scaling Ladder из четырёх моделей — от 1,6B-A61M до 27,7B-A1.2B. Эти меньшие модели использовали, чтобы заранее предсказать потери и поведение основной модели на 535 млрд параметров.
Теперь основное обучение уже запущено, и любой желающий может в реальном времени следить за кривыми обучения. Данные, журналы экспериментов и возникающие инженерные проблемы тоже будут постепенно публиковаться.
Подобное уже было. В 2022 году, когда BigScience обучала BLOOM на 176 млрд параметров, прогресс обучения и TensorBoard тоже были открыты.
Но теперь Marin поднимает масштаб публичного обучения сразу до 535 млрд параметров.
Судя по всему, это одно из крупнейших обучений большой модели, за которым человечество когда-либо могло наблюдать публично.
Следующие три месяца должны быть очень интересными. Насколько конкурентоспособной получится модель — это отдельный вопрос. Мне гораздо интереснее увидеть, как именно обучают и настраивают MoE-модель размером более 500 млрд параметров и сколько раз всё успеет сломаться по дороге.
Такие возможности появляются крайне редко. По сути, перед всем миром открывают эксперимент по обучению модели стоимостью в десятки миллионов долларов — то, что обычно могут видеть только сотрудники крупнейших ИИ-лабораторий. | 736 |
| 17 |  Конспект лекций Стэнфорда по статистике и теории информации.
PDF → https://web.stanford.edu/class/stats311/lecture-notes.pdf | 890 |
| 18 |  +1Офигеть, этот проект реально позволяет запускать огромные модели даже на RTX 4060????
Исследователи из UC Berkeley, MIT и UT Austin открыли исходный код FreeToken — системы, специально созданной для запуска сверхбольших MoE-моделей на обычных компьютерах.
В статье они показывают очень впечатляющие результаты.
Qwen3.6 35B
RTX 4060 Laptop 8 ГБ
39,3 токена/с
DeepSeek-V4-Flash 284B
RTX 5090
22–25 токенов/с
GLM-5.2 753B
RTX PRO 6000
около 15 токенов/с
То есть игровой ноутбук всего с 8 ГБ видеопамяти уже может запускать модель на 35 млрд параметров почти на 40 токенах в секунду.
И это даже быстрее медианной скорости генерации Codex в 33 токена/с, которую авторы приводят в статье.
Главная идея FreeToken в том, чтобы заставить GPU, CPU, оперативную память и PCIe работать вместе.
Поскольку MoE-модели для каждого токена активируют только небольшую часть экспертов, нет необходимости постоянно держать сотни миллиардов параметров в видеопамяти.
FreeToken сам решает, какие части модели оставить в VRAM, какие временно переносить из оперативной памяти на GPU, а какие вообще считать на CPU.
На этапе обработки входного контекста система заранее загружает экспертов следующего слоя. Во время генерации она динамически распределяет вычисления в зависимости от текущей скорости CPU, GPU и PCIe.
Есть даже отдельный Agent State Cache.
Когда агент вызывает инструменты, меняет контекст или продолжает старую задачу, FreeToken может пропускать большую часть повторной обработки контекста.
Именно поэтому в демонстрациях всё выглядит особенно интересно.
Написание кода, чтение почты, вызов инструментов и даже игры.
Можно поднять большую открытую модель прямо на игровом компьютере и подключить к ней агентные системы вроде Claude Code или Codex.
https://arxiv.org/abs/2608.16157 | 19 242 |
| 19 |  Книга Дарижа Гринберга «Введение в теорию графов» теперь доступна бесплатно
Это серьёзное введение в теорию графов для продвинутого уровня. В книге объединены алгебраический подход, структурные теоремы и большое количество упражнений для практики.
Читать книгу вместе с ИИ-преподавателем: https://chapterpal.com/ebook/473a1c1b-c584-4430-b986-cd9c57085e67 | 995 |
| 20 |  «Matrix Calculus for Machine Learning» — бесплатный конспект лекций на основе курса MIT по матричному анализу для машинного обучения.
Примерно 100 страниц, на которых довольно последовательно разбирается математическая база современных моделей — производные в векторных и матричных пространствах, производная как линейное отображение, якобианы, гессианы, матричные функции, производные собственных значений и собственных векторов и многое другое.
Самое полезное здесь в том, что авторы не останавливаются на чистой математике. Все эти идеи напрямую связываются с обратным режимом дифференцирования, обратным распространением ошибки и другими механизмами, на которых строится обучение современных моделей.
Материал строгий, но при этом читается вполне нормально. Если хочется не просто пользоваться формулами в машинном обучении, а действительно понимать, что происходит под капотом, это очень хороший ресурс.
https://arxiv.org/pdf/2501.14787 | 925 |
