Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение
Open in Telegram
Все самое полезное для дата сайентиста в одном канале. Учиться у нас: clc.to/6qVHgg По рекламе: @tproger_sales_bot Для обратной связи: @proglibrary_feeedback_bot РКН: https://gosuslugi.ru/snet/67a5b03124c8ba6dcaa121c9
Show more
Network:📈 Analytical overview of Telegram channel Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение
Channel Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение (@dsproglib) in the Russian language segment is an active participant. Currently, the community unites 18 328 subscribers, ranking 7 104 in the Technologies & Applications category and 35 912 in the Russia region.
📊 Audience metrics and dynamics
Since its creation on невідомо, the project has demonstrated rapid growth, gathering an audience of 18 328 subscribers.
According to the latest data from 17 October, 2026, the channel demonstrates stable activity. Although there has been a change in the number of participants by -11 over the last 30 days and by -2 over the last 24 hours, overall reach remains high.
- Verification status: Not verified
- Engagement rate (ER): The average audience engagement rate is 7.36%. Within the first 24 hours after publication, content typically collects 3.34% reactions from the total number of subscribers.
- Post reach: On average, each post receives 1 349 views. Within the first day, a publication typically gains 613 views.
- Reactions and interaction: The audience actively supports content: the average number of reactions per post is 4.
- Thematic interests: Content is focused on key topics such as сайентиста, llm, буст, навигация, openai.
📝 Description and content policy
The author describes the resource as a platform for expressing subjective opinions:
“Все самое полезное для дата сайентиста в одном канале.
Учиться у нас: clc.to/6qVHgg
По рекламе: @tproger_sales_bot
Для обратной связи: @proglibrary_feeedback_bot
РКН: https://gosuslugi.ru/snet/67a5b03124c8ba6dcaa121c9”
Thanks to the high frequency of updates (latest data received on 18 October, 2026), the channel maintains relevance and a high level of publication reach. Analytics show that the audience actively interacts with content, making it an important point of influence in the Technologies & Applications category.
18 328
Subscribers
-224 hours
-57 days
-1130 days
Loading data
Similar Channels
![Data Science | Machinelearning [ru]](https://cdn.tlmtr.io/_next/image?url=https%3A%2F%2Fimg.telemetr.io%2Fc%2F1dVo3O%2F5217464346798572541%3Fty%3Dx&w=96&q=75){kind=small}
Tags Cloud
Incoming and Outgoing Mentions
---
---
---
---
---
---
Attracting Subscribers
October '26Oct '26
October '26
+62
in 0 channels
September '26
+83
in 0 channels
Get PRO
August '26
+70
in 0 channels
Get PRO
July '26
+83
in 0 channels
Get PRO
June '26
+97
in 2 channels
Get PRO
May '26
+142
in 2 channels
Get PRO
April '26
+106
in 1 channels
Get PRO
March '26
+329
in 4 channels
Get PRO
February '26
+154
in 5 channels
Get PRO
January '26
+212
in 4 channels
Get PRO
December '25
+211
in 3 channels
Get PRO
November '25
+101
in 1 channels
Get PRO
October '25
+148
in 5 channels
Get PRO
September '25
+105
in 2 channels
Get PRO
August '25
+103
in 4 channels
Get PRO
July '25
+171
in 2 channels
Get PRO
June '25
+185
in 42 channels
Get PRO
May '25
+319
in 6 channels
Get PRO
April '25
+206
in 18 channels
Get PRO
March '25
+247
in 53 channels
Get PRO
February '25
+236
in 36 channels
Get PRO
January '25
+180
in 41 channels
Get PRO
December '24
+212
in 42 channels
Get PRO
November '24
+217
in 52 channels
Get PRO
October '24
+224
in 43 channels
Get PRO
September '24
+249
in 38 channels
Get PRO
August '24
+269
in 37 channels
Get PRO
July '24
+197
in 37 channels
Get PRO
June '24
+257
in 31 channels
Get PRO
May '24
+429
in 38 channels
Get PRO
April '24
+339
in 38 channels
Get PRO
March '24
+437
in 32 channels
Get PRO
February '24
+426
in 32 channels
Get PRO
January '24
+473
in 28 channels
Get PRO
December '23
+604
in 34 channels
Get PRO
November '23
+289
in 13 channels
Get PRO
October '23
+462
in 22 channels
Get PRO
September '23
+631
in 0 channels
Get PRO
August '23
+488
in 0 channels
Get PRO
July '23
+420
in 0 channels
Get PRO
June '23
+329
in 0 channels
Get PRO
May '23
+433
in 0 channels
Get PRO
April '23
+224
in 0 channels
Get PRO
March '23
+712
in 0 channels
Get PRO
February '23
+249
in 0 channels
Get PRO
January '23
+260
in 0 channels
Get PRO
December '22
+292
in 0 channels
Get PRO
November '22
+407
in 0 channels
Get PRO
October '22
+172
in 0 channels
Get PRO
September '22
+209
in 0 channels
Get PRO
August '22
+287
in 0 channels
Get PRO
July '22
+352
in 0 channels
Get PRO
June '22
+407
in 0 channels
Get PRO
May '22
+166
in 0 channels
Get PRO
April '22
+215
in 0 channels
Get PRO
March '22
+225
in 0 channels
Get PRO
February '22
+129
in 0 channels
Get PRO
January '22
+250
in 0 channels
Get PRO
December '21
+203
in 0 channels
Get PRO
November '21
+253
in 0 channels
Get PRO
October '21
+237
in 0 channels
Get PRO
September '21
+208
in 0 channels
Get PRO
August '21
+297
in 0 channels
Get PRO
July '21
+312
in 0 channels
Get PRO
June '21
+288
in 0 channels
Get PRO
May '21
+446
in 0 channels
Get PRO
April '21
+446
in 0 channels
Get PRO
March '21
+429
in 0 channels
Get PRO
February '21
+396
in 0 channels
Get PRO
January '21
+351
in 0 channels
Get PRO
December '20
+12 450
in 0 channels
| Date | Subscriber Growth | Mentions | Channels | |
| 18 October | +1 | |||
| 17 October | +3 | |||
| 16 October | +3 | |||
| 15 October | +2 | |||
| 14 October | 0 | |||
| 13 October | +5 | |||
| 12 October | +16 | |||
| 11 October | +2 | |||
| 10 October | +1 | |||
| 09 October | +3 | |||
| 08 October | 0 | |||
| 07 October | +3 | |||
| 06 October | +5 | |||
| 05 October | +8 | |||
| 04 October | +3 | |||
| 03 October | +6 | |||
| 02 October | +1 | |||
| 01 October | 0 |
Channel Posts
🧹 Cleanlab: сначала проверьте, откуда взялись вероятности
Cleanlab помогает искать подозрительную разметку по предсказаниям модели. Но если модель уже обучалась на этих же примерах, её уверенность может скрыть ошибки: знакомый датасет она нередко просто запоминает.
Для поиска проблем во всём наборе нужны out-of-fold вероятности:
— разбить данные на фолды;
— обучить модель на всех фолдах, кроме одного;
— получить вероятности для отложенного фолда;
— повторить и собрать предсказания для каждой строки.
Тогда ни один пример не оценивается моделью, которая видела его при обучении. Для совместимого со scikit-learn классификатора такие предсказания можно получить через
cross_val_predict с method="predict_proba".
Подозрительная метка — повод проверить пример, а не автоматически переписать ответ на вариант модели. Иначе исправление разметки может просто перенести в датасет её собственные ошибки.
🔗 Руководство по out-of-sample predictions
📍 Навигация: Вакансии • Задачи • Собесы
🐸 Библиотека дата-сайентиста| 2 | 🧠 Можно ли увидеть неуверенность LLM до конца ответа?
Уверенный тон ответа ещё не означает, что модель права. Авторы U-Space предлагают смотреть на внутренние состояния LLM и отслеживать, как меняется сигнал неопределённости по ходу генерации.
Они берут смысловые ориентиры для сомнения и уверенности, переводят их направления в пространство скрытых состояний и строят небольшое подпространство. U-Lens проецирует туда состояние каждого токена: получается карта, которую можно изучать отдельно или свести к одному показателю.
По описанию авторов, метод не требует меток правильности, дополнительного обучения и повторной генерации ответа. Они также проверяют, не объясняется ли качество сигнала просто длиной текста.
Это исследовательский препринт, а не готовый универсальный детектор галлюцинаций. Для применения нужен доступ к внутренним состояниям модели; по одному тексту ответа такую проверку не повторить.
🔗 Препринт U-Space и ссылка на код
📍 Навигация: Вакансии • Задачи • Собесы
🐸 Библиотека дата-сайентиста | 774 |
| 3 | 🧑💻 Какие навыки помогают вам в разработке в 2026 году?
Что вы чаще используете в работе? В каких задачах помогает ИИ, а где проще справиться самостоятельно?
Мы решили собрать портрет современного разработчика — и приглашаем вас поделиться своим опытом. Расскажите, какие навыки вам пригодились и как вы используете ИИ. Если обходите его стороной, нам тоже интересно узнать почему.
Опрос анонимный и займёт около 5 минут. Результаты опубликуем в общем большом исследовании.
👉 Пройти опрос | 429 |
| 4 | ☔️ Планы на выходные снова испортила погода? У нас есть план получше.
Выходные — хороший повод заняться тем, на что вечно не хватает времени. Например, освоить новый навык или углубиться в знакомую тему.
📍 В Proglib Academy покупаешь один курс, а второй получаешь в подарок. Платишь только за один!
Вот несколько сочетаний:
💥 Разработка ИИ-агентов + Python
💥 Machine Learning + Математика для Data Science
Можно выбрать и другие курсы — под свои интересы и цели.
⏳ Акция действует до 18 октября.
➡️ Выбрать курсы и оставить заявку | 822 |
| 5 | 🧹 Pandera: как собрать ошибки датасета в один отчёт
В выгрузке нет нужной колонки, числа приехали строками, а одна проверка диапазона не проходит. Если валидатор остановится на первой ошибке, остальные обнаружатся только после очередного исправления.
В Pandera можно описать схему DataFrame: типы, обязательные колонки и проверки значений. Параметр lazy=True собирает ошибки проверки вместо остановки на первом нарушении.
try:
schema.validate(df, lazy=True)
except pa.errors.SchemaErrors as exc:
print(exc.failure_cases)
Здесь schema — заранее заданная схема, df — данные, а pa — pandera.pandas. В failure_cases можно посмотреть, какие проверки и значения не прошли.
Такой отчёт удобен на входе в пайплайн: сначала понять масштаб проблем, затем решать, что исправлять или отклонять. Сам режим валидации данные автоматически не чинит.
🔗 Примеры lazy validation
📍 Навигация: Вакансии • Задачи • Собесы
🐸 Библиотека дата-сайентиста | 844 |
| 6 | Приходится ли вам копипастить данные и какие именно, когда переходите из одной нейросети в другую? | 552 |
| 7 |  Общая папка для работы Claude Code и Codex
Луи-Франсуа Бушар собрал заметки, инструкции-скиллы, скрипты и итоги встреч в Obsidian. Его связка устроена так:
Папка хранит исходные материалы и решения
↓
Индекс указывает, где искать данные для задачи
↓
Claude Code планирует работу
↓
Codex выполняет задачи по его вызову
В описании этого рабочего процесса Бушар объясняет, зачем даёт агенту сведения для конкретной задачи. Начать предлагает с общей папки, короткого индекса и одного повторно используемого скилла.
#ии #инструменты | 490 |
| 8 | 🗂 Как DuckDB пропускает ненужные Parquet-файлы
Если данные лежат в папках year=2026/month=10/, значения в пути можно использовать как колонки. Это Hive partitioning: не обязательно записывать год и месяц в каждую строку файла.
SELECT *
FROM read_parquet(
'orders/*/*/*.parquet',
hive_partitioning = true
)
WHERE year = 2026 AND month = 10;
DuckDB проталкивает фильтр по ключам партиций к чтению файлов. Для такого запроса папки других месяцев можно пропустить, а не загружать весь набор и отсеивать строки после чтения.
Это полезно для выгрузок событий, заказов и логов, если запросы регулярно ограничены датой. Но разбиение помогает именно по ключам папок: фильтр по сумме заказа сам по себе не означает, что ненужные месяцы исчезнут из чтения.
🔗 Документация DuckDB
📍 Навигация: Вакансии • Задачи • Собесы
🐸 Библиотека дата-сайентиста | 924 |
| 9 | 💡 Почему порог 0,5 не обязан подходить вашей модели
Модель оценила вероятность положительного класса в 0,4. Ответ «нет» получается не из самой вероятности, а из правила, которое сравнивает её с порогом.
В бинарной классификации scikit-learn обычно использует 0,5 для вероятностей. Но пропущенное событие и ложная тревога могут стоить по-разному. Поэтому порог стоит подбирать под задачу: например, по F1 или своей функции полезности.
TunedThresholdClassifierCV делает это через внутреннюю кросс-валидацию. При смене порога вероятности могут остаться прежними, а метки классов и число ошибок — измениться.
Важно: не подбирайте порог по финальному тесту. А если используете cv="prefit", не отдавайте для настройки те же данные, на которых обучали модель. Иначе оптимизируете решение под уже знакомые примеры.
🔗 Порог классификации в scikit-learn
📍 Навигация: Вакансии • Задачи • Собесы
🐸 Библиотека дата-сайентиста | 1 071 |
| 10 | 👀 Как вы смотрите видео?
Разбираете урок, слушаете интервью фоном или начинаете на телефоне, а продолжаете на большом экране?
Хотим узнать, что делает просмотр удобным для вас. Вспомните последнее видео — ролик, урок, фильм или серию сериала — и расскажите о своём опыте. Если детали не запомнились, можно так и ответить.
🕰️ Опрос займёт около 3 минут.
В результатах сможете сравнить свои привычки с ответами других участников. А разработчики и инженеры видеоплатформы расскажут, что происходит по ту сторону экрана, пока вы смотрите видео.
🔗 Поделиться опытом
🐸 Библиотека программиста | 793 |
| 11 | 🧠 Агент сказал «готово». А что осталось в базе?
AI-агент может вызвать нужные инструменты, красиво отчитаться и всё равно оставить неправильный результат. Например, закрыть обращение, хотя оно должно ждать решения.
Microsoft ThinkingBox проверяет конечное состояние системы: нужные ли поля изменились, все ли действия выполнены, не появилось ли лишних побочных эффектов. В бенчмарке 507 бизнес-сценариев, каждый запускают 20 раз из одинакового начального состояния.
Одного успеха недостаточно:
— доля успешных попыток показывает обычное качество;
— хотя бы один успех за 20 попыток — возможность решить задачу;
— все 20 успешных запусков — наблюдаемую повторяемость.
Последнее тоже не гарантия безошибочной работы в проде. Но проверка результата в базе даёт больше информации, чем фраза «задача выполнена».
🔗 Разбор ThinkingBox
📍 Навигация: Вакансии • Задачи • Собесы
🐸 Библиотека дата-сайентиста | 1 135 |
| 12 | Общая папка для работы Claude Code и Codex
Луи-Франсуа Бушар собрал заметки, инструкции-скиллы, скрипты и итоги встреч в Obsidian. Его связка устроена так:
Папка хранит исходные материалы и решения
↓
Индекс указывает, где искать данные для задачи
↓
Claude Code планирует работу
↓
Codex выполняет задачи по его вызову
В описании этого рабочего процесса Бушар объясняет, зачем даёт агенту сведения для конкретной задачи. Начать предлагает с общей папки, короткого индекса и одного повторно используемого скилла.
#ии #инструменты | 1 087 |
| 13 | Приходится ли вам копипастить данные и какие именно, когда переходите из одной нейросети в другую? | 969 |
| 14 |  ИИ-агент отвечает настолько точно, насколько готовы ваши данные. Как понять, что они готовы?
Разберёмся 23 октября в Москве на Fine Day 2026, офлайн-конференции о переходе от self-service BI к AI-native аналитике.
💡 В программе:
• дискуссия с руководителями аналитики ПИК, ДИКСИ, СИБУР и АвтоВАЗ: что нужно данным и командам для работы с ИИ
• миграция с Qlik и Power BI на FineBI, в том числе с помощью ИИ-агентов
• BI-система vs LLM: какие задачи кому отдавать, опыт Мосбиржи
демо FineBI 7.0 и ИИ-агентов Dora, можно принести свой сценарий
Участие бесплатное. После регистрации получите чек-лист «Готовы ли ваши данные к ИИ-агенту?» из 25 вопросов.
👉 Регистрация: https://clck.ru/3WMQBw | 1 385 |
| 15 |  В субботу, 17 октября, Москва станет точкой притяжения для всех специалистов в области RecSys 🔥
Конференция AI Driver & RecSys — главное событие года для тех, кто создаёт, исследует и развивает рекомендательные системы.
🔝 Весь день ведущие эксперты индустрии из крупнейших IT-компаний проведут на площадке Сбера, чтобы обсудить:
— главные тренды и вызовы RecSys
— реальные кейсы и новейшие исследования
— передовые IT-решения для рекомендательных систем
Вы сможете сами пообщаться с теми, кто создает рекомендации для миллионов пользователей.
📍Офис Сбер, Москва, Кутузовский проспект, 32.
Участие бесплатное!
Количество мест для очного участия ограничено – успейте оставить заявку по ссылке ⚡️ | 1 343 |
| 16 |  🛡️ OpenAI предлагает safety cases для обучения frontier-моделей
OpenAI описала подход, при котором перед запуском крупных reinforcement learning-тренировок должна появляться структурированная документация по безопасности — с аргументами, доказательствами и остаточными рисками.
В подходе выделяют три уровня:
🟢 технические меры — alignment, sandboxing и мониторинг;
🟢 операционные правила — независимый review, возможность остановить обучение и аудит;
🟢 разбор инцидентов — поиск причин, postmortem и превращение инцидентов в regression-тесты.
Пока это не готовый отраслевой стандарт, а набор практик, которые OpenAI внедряет и планирует развивать.
🔗 Читать блог
📍 Навигация: Вакансии • Задачи • Собесы
🐸 Библиотека дата-сайентиста | 1 625 |
| 17 |  Пока вы ковыряете обычные приложения, AI уже ставит эксперименты и делает покупки!
Стендап-комик Сева Ловкачёв вместе с экспертами MAGNIT OMNI и гостями в шоу «ПРОДАКТовая корзина» обсуждают актуальные новости технологий и разбираются, что попадёт на прод, а что — на мусорку.
Без духоты, с классными экспертами и интеллектуальным юмором.
Смотреть:
• YouTube
• VK Видео | 1 031 |
| 18 | 🤖 Google на 5 месяцев пустил AI-агента в реальные команды
Агент читал рабочие чаты и документы, заводил баги, писал коллегам и сам инициировал действия.
Но главный эксперимент оказался не про продуктивность. Люди начали ограничивать его доступ, создавать чаты без агента и отдельно договариваться о том, что ему можно делать.
🔗 Исследование
📍 Навигация: Вакансии • Задачи • Собесы
🐸 Библиотека дата-сайентиста | 1 637 |
| 19 |  🧠 Как создать единый технологический контур для распределения ML-нагрузок
Гибридная инфраструктура позволяет экономически выгодно распределять разные этапы ИИ- и ML-пайплайна по различным средам.
Для реализации полноценного гибрида Yandex Cloud имеет все необходимые инструменты.
🔹 Безопасная связность.
Cloud Interconnect объединяет локальную инфраструктуру и облако по приватному соединению. VPC Private Endpoint позволяет подключать облачные ресурсы без выхода трафика в публичный Интернет.
🔹 Выделенные вычисления.
BareMetal Extend — инфраструктура на выделенных серверах с виртуализацией или Kubernetes. Такой контур можно использовать для задач, где нужны изоляция, контроль над инфраструктурой и обработка данных вне публичного облака.
🔹 Полноценная data-платформа внутри корпоративной инфраструктуры.
В Stackland, который разворачивается локально в контуре компании, появились новые PaaS-компоненты:
• Managed Service for ClickHouse® и Managed Service for PostgreSQL — хранение и обработка данных;
• Managed Service for Trino + Object Storage — аналитический слой;
• Managed Service for Apache Airflow® — оркестрация data-пайплайнов;
• DataLens — визуализация данных.
В итоге получается единый технологический контур: локальная инфраструктура + облачные ресурсы + приватная сеть + инструменты для хранения, обработки и анализа данных.
Для data science это особенно интересно: вычисления и данные можно размещать там, где это рационально для конкретной задачи — учитывая требования к безопасности, производительности и стоимости.
Свое железо остается в деле, а облако добавляет гибкости. ⚙️ | 1 378 |
| 20 | ![🧠 Что выведет код? ❤️ [1, 2, 99, 4] 🔥 [1, 2, 3, 4] 👍 [99, 2, 3, 4] 👾 Error 👇 Правильный ответ (нажми, чтобы прочитать):](data:image/jpeg;base64,/9j/4AAQSkZJRgABAQAAAQABAAD/2wBDACgcHiMeGSgjISMtKygwPGRBPDc3PHtYXUlkkYCZlo+AjIqgtObDoKrarYqMyP/L2u71////m8H////6/+b9//j/2wBDASstLTw1PHZBQXb4pYyl+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj/wAARCAAhACgDASIAAhEBAxEB/8QAHwAAAQUBAQEBAQEAAAAAAAAAAAECAwQFBgcICQoL/8QAtRAAAgEDAwIEAwUFBAQAAAF9AQIDAAQRBRIhMUEGE1FhByJxFDKBkaEII0KxwRVS0fAkM2JyggkKFhcYGRolJicoKSo0NTY3ODk6Q0RFRkdISUpTVFVWV1hZWmNkZWZnaGlqc3R1dnd4eXqDhIWGh4iJipKTlJWWl5iZmqKjpKWmp6ipqrKztLW2t7i5usLDxMXGx8jJytLT1NXW19jZ2uHi4+Tl5ufo6erx8vP09fb3+Pn6/8QAHwEAAwEBAQEBAQEBAQAAAAAAAAECAwQFBgcICQoL/8QAtREAAgECBAQDBAcFBAQAAQJ3AAECAxEEBSExBhJBUQdhcRMiMoEIFEKRobHBCSMzUvAVYnLRChYkNOEl8RcYGRomJygpKjU2Nzg5OkNERUZHSElKU1RVVldYWVpjZGVmZ2hpanN0dXZ3eHl6goOEhYaHiImKkpOUlZaXmJmaoqOkpaanqKmqsrO0tba3uLm6wsPExcbHyMnK0tPU1dbX2Nna4uPk5ebn6Onq8vP09fb3+Pn6/9oADAMBAAIRAxEAPwDVmlWCPe+cZxwM1WOqWw6lxn/ZNGr/APHg31H86wOPQ4+tAG9/a1r/AHm/75qM6vDnjP5ViED0NJigDoE1BZF3L0orMtv9SKKANTV/+PBv94fzrn8+/wCldPcwC5hMZYrkg5FUv7GjP/LaSgDEora/sSL/AJ6v+QpP7Ej/AOerflQBTtv9SKK1YdPSKMJkn3NFAFyiiigAooooAKKKKAP/2Q==){kind=small} 🧠 Что выведет код?
❤️ [1, 2, 99, 4]
🔥 [1, 2, 3, 4]
👍 [99, 2, 3, 4]
👾 Error
👇 Правильный ответ (нажми, чтобы прочитать):
🔥 [1, 2, 3, 4]
x[x > 2] использует булеву индексацию NumPy и создаёт отдельный массив. Поэтому изменение y не затрагивает исходный x.
⚠️ В NumPy важно понимать, когда вы работаете с view, а когда получаете copy. Обычный срез и булева индексация ведут себя по-разному.
📍 Навигация: Вакансии • Задачи • Собесы
🐸 Библиотека дата-сайентиста | 1 213 |
