Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение
Open in Telegram
Все самое полезное для дата сайентиста в одном канале. Учиться у нас: clc.to/6qVHgg По рекламе: @tproger_sales_bot Для обратной связи: @proglibrary_feeedback_bot РКН: https://gosuslugi.ru/snet/67a5b03124c8ba6dcaa121c9
Show more
📈 Analytical overview of Telegram channel Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение
Channel Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение (@dsproglib) in the Russian language segment is an active participant. Currently, the community unites 18 276 subscribers, ranking 7 160 in the Technologies & Applications category and 35 907 in the Russia region.
📊 Audience metrics and dynamics
Since its creation on невідомо, the project has demonstrated rapid growth, gathering an audience of 18 276 subscribers.
According to the latest data from 12 November, 2026, the channel demonstrates stable activity. Although there has been a change in the number of participants by -63 over the last 30 days and by -6 over the last 24 hours, overall reach remains high.
- Verification status: Not verified
- Engagement rate (ER): The average audience engagement rate is 6.78%. Within the first 24 hours after publication, content typically collects 3.40% reactions from the total number of subscribers.
- Post reach: On average, each post receives 1 239 views. Within the first day, a publication typically gains 621 views.
- Reactions and interaction: The audience actively supports content: the average number of reactions per post is 2.
- Thematic interests: Content is focused on key topics such as сайентиста, llm, буст, навигация, openai.
📝 Description and content policy
The author describes the resource as a platform for expressing subjective opinions:
“Все самое полезное для дата сайентиста в одном канале.
Учиться у нас: clc.to/6qVHgg
По рекламе: @tproger_sales_bot
Для обратной связи: @proglibrary_feeedback_bot
РКН: https://gosuslugi.ru/snet/67a5b03124c8ba6dcaa121c9”
Thanks to the high frequency of updates (latest data received on 13 November, 2026), the channel maintains relevance and a high level of publication reach. Analytics show that the audience actively interacts with content, making it an important point of influence in the Technologies & Applications category.
18 276
Subscribers
-624 hours
-257 days
-6330 days
Loading data
Similar Channels
![Data Science | Machinelearning [ru]](https://cdn.tlmtr.io/_next/image?url=https%3A%2F%2Fimg.telemetr.io%2Fc%2F1dVo3O%2F5217464346798572541%3Fty%3Dx&w=96&q=75){kind=small}
Tags Cloud
Incoming and Outgoing Mentions
---
---
---
---
---
---
Attracting Subscribers
November '26Nov '26
November '26
+22
in 0 channels
October '26
+111
in 1 channels
Get PRO
September '26
+83
in 0 channels
Get PRO
August '26
+70
in 0 channels
Get PRO
July '26
+83
in 0 channels
Get PRO
June '26
+97
in 2 channels
Get PRO
May '26
+142
in 2 channels
Get PRO
April '26
+106
in 1 channels
Get PRO
March '26
+329
in 4 channels
Get PRO
February '26
+154
in 5 channels
Get PRO
January '26
+212
in 4 channels
Get PRO
December '25
+211
in 3 channels
Get PRO
November '25
+101
in 1 channels
Get PRO
October '25
+148
in 5 channels
Get PRO
September '25
+105
in 2 channels
Get PRO
August '25
+103
in 4 channels
Get PRO
July '25
+171
in 2 channels
Get PRO
June '25
+185
in 42 channels
Get PRO
May '25
+319
in 6 channels
Get PRO
April '25
+206
in 18 channels
Get PRO
March '25
+247
in 53 channels
Get PRO
February '25
+236
in 36 channels
Get PRO
January '25
+180
in 41 channels
Get PRO
December '24
+212
in 42 channels
Get PRO
November '24
+217
in 52 channels
Get PRO
October '24
+224
in 43 channels
Get PRO
September '24
+249
in 38 channels
Get PRO
August '24
+269
in 37 channels
Get PRO
July '24
+197
in 37 channels
Get PRO
June '24
+257
in 31 channels
Get PRO
May '24
+429
in 38 channels
Get PRO
April '24
+339
in 38 channels
Get PRO
March '24
+437
in 32 channels
Get PRO
February '24
+426
in 32 channels
Get PRO
January '24
+473
in 28 channels
Get PRO
December '23
+604
in 34 channels
Get PRO
November '23
+289
in 13 channels
Get PRO
October '23
+462
in 22 channels
Get PRO
September '23
+631
in 0 channels
Get PRO
August '23
+488
in 0 channels
Get PRO
July '23
+420
in 0 channels
Get PRO
June '23
+329
in 0 channels
Get PRO
May '23
+433
in 0 channels
Get PRO
April '23
+224
in 0 channels
Get PRO
March '23
+712
in 0 channels
Get PRO
February '23
+249
in 0 channels
Get PRO
January '23
+260
in 0 channels
Get PRO
December '22
+292
in 0 channels
Get PRO
November '22
+407
in 0 channels
Get PRO
October '22
+172
in 0 channels
Get PRO
September '22
+209
in 0 channels
Get PRO
August '22
+287
in 0 channels
Get PRO
July '22
+352
in 0 channels
Get PRO
June '22
+407
in 0 channels
Get PRO
May '22
+166
in 0 channels
Get PRO
April '22
+215
in 0 channels
Get PRO
March '22
+225
in 0 channels
Get PRO
February '22
+129
in 0 channels
Get PRO
January '22
+250
in 0 channels
Get PRO
December '21
+203
in 0 channels
Get PRO
November '21
+253
in 0 channels
Get PRO
October '21
+237
in 0 channels
Get PRO
September '21
+208
in 0 channels
Get PRO
August '21
+297
in 0 channels
Get PRO
July '21
+312
in 0 channels
Get PRO
June '21
+288
in 0 channels
Get PRO
May '21
+446
in 0 channels
Get PRO
April '21
+446
in 0 channels
Get PRO
March '21
+429
in 0 channels
Get PRO
February '21
+396
in 0 channels
Get PRO
January '21
+351
in 0 channels
Get PRO
December '20
+12 450
in 0 channels
| Date | Subscriber Growth | Mentions | Channels | |
| 13 November | +3 | |||
| 12 November | +1 | |||
| 11 November | +1 | |||
| 10 November | +1 | |||
| 09 November | +1 | |||
| 08 November | +3 | |||
| 07 November | +2 | |||
| 06 November | +2 | |||
| 05 November | +1 | |||
| 04 November | +2 | |||
| 03 November | +3 | |||
| 02 November | +1 | |||
| 01 November | +1 |
Channel Posts
🗂 Откуда повторы в IterableDataset
Увеличили num_workers, а в обучении появились повторяющиеся записи? У каждого worker в DataLoader своя копия IterableDataset. Если все копии читают один поток с начала, записи дублируются.
Разделите источник между worker. В PyTorch для этого есть get_worker_info(): он сообщает ID текущего worker и их общее число. Эти данные можно использовать в __iter__ или worker_init_fn, чтобы назначить каждой копии отдельную часть потока.
Проверьте ID записей: части не должны пересекаться, а вместе должны покрывать нужные данные. Отдельно проверьте возобновление чтения после сбоя. Для реального источника недостаточно просто поделить конечный диапазон из учебного примера.
drop_last отбрасывает неполный последний батч у каждой копии IterableDataset. Суммарно DataLoader может потерять больше одного батча. Разделение потока само по себе ускорения не гарантирует.
🔗 Документация и два способа разделения
📍 Навигация: Вакансии • Задачи • Собесы
🐸 Библиотека дата-сайентиста
| 2 |  🤖 Два курса по AI по цене одного — только до 15.11!
Наигрались с нейросетями, и хотите применять их в реальных проектах?
Обращаем ваше внимание на ИИ-связку Proglib Academy:
➡️ «ИИ для разработчиков» — соберите собственный рабочий процесс с AI: от планирования и написания кода до тестирования и code review.
➡️ «Разработка ИИ-агентов» — научитесь создавать агентов, которые умеют работать с API, базами знаний и внешними инструментами, выполнять последовательность действий и решать прикладные задачи.
⏬ Вы получите два взаимодополняющих навыка: эффективную AI-разработку и инженерное создание AI-агентов за 59 000 ₽.
📍 Покупаете один курс, второй - в подарок. Не упустите свой шанс прокачаться - только до 15 ноября 😏 | 653 |
| 3 |  🛡️ Монотонность в XGBoost: задаём направление
Параметр monotone_constraints задаёт правило при фиксированных остальных признаках: +1 — предсказание не убывает, −1 — не возрастает, 0 — ограничения нет. Плоские участки допустимы.
На графике из документации XGBoost чёрные линии показывают модель с ограничениями на синтетических данных. Остальной признак зафиксирован на среднем значении. Колебания, нарушающие заданное направление, исчезают.
Ограничение выражает предположение о задаче. Причинную связь или рост точности оно не доказывает. Сравните качество на отложенных данных.
При hist и approx деревья могут стать слишком неглубокими: ограничения исключают кандидатов разбиения. Документация предлагает попробовать увеличить max_bin.
🔗 Параметры и пример
📍 Навигация: Вакансии • Задачи • Собесы
🐸 Библиотека дата-сайентиста | 780 |
| 4 |  🧠 Что средняя PDP скрывает за одной линией
На графике из документации scikit-learn тонкие линии — ICE: для каждого объекта меняют один признак, фиксируют остальные и считают предсказания модели. Пунктир — PDP, среднее этих линий.
Посмотрите на влажность справа. У одних объектов предсказания почти не меняются, у других резко падают. Средняя линия сглаживает это различие. ICE помогает увидеть неоднородность, связанную с взаимодействиями признаков.
Пример построен на данных велопроката с HistGradientBoostingRegressor. Он показывает поведение модели, а не причинный эффект погоды. При коррелированных признаках PDP и ICE могут оценивать нереалистичные сочетания значений.
🔗 Документация и примеры
📍 Навигация: Вакансии • Задачи • Собесы
🐸 Библиотека дата-сайентиста | 861 |
| 5 | 🧠 Когда важный признак получает низкую importance
У двух признаков сильная корреляция. При расчёте permutation importance перемешиваем один из них. Модель может по-прежнему получать похожую информацию из второго, и метрика почти не изменится. То же может произойти, если отдельно перемешать второй признак.
Низкая importance каждого по отдельности ещё не означает, что вся группа бесполезна. Этот показатель описывает зависимость конкретной обученной модели от признака на выбранных данных и с выбранной метрикой. Причинный эффект он не измеряет.
Перед удалением таких столбцов проверьте корреляции. В документации scikit-learn предлагают один из подходов: объединить коррелированные признаки в кластеры и оставить представителя каждого. Сравните качество моделей на отложенных данных. Сам по себе новый рейтинг признаков улучшение не доказывает.
🔗 Разбор в документации
📍 Навигация: Вакансии • Задачи • Собесы
🐸 Библиотека дата-сайентиста | 932 |
| 6 |  Optuna: как сообщить pruner, что происходит с trial
Sampler выбирает гиперпараметры, pruner решает, стоит ли досрочно остановить trial. Для решения ему нужны промежуточные значения метрики. Этот API предназначен для оптимизации одной целевой метрики.
В цикле обучения вызывают trial.report(value, step), затем trial.should_prune(). Если ответ True, objective должен поднять optuna.TrialPruned(). Сам вызов report обучение не прекращает.
В официальном примере передают ошибку на валидации после каждого шага. Если objective только вернул финальную метрику, такой истории у pruner нет. Смысл метрики и шага должен быть одинаковым у сравниваемых trial.
Документация и примеры
📍 Навигация: Вакансии • Задачи • Собесы
🐸 Библиотека дата-сайентиста | 1 061 |
| 7 |  Запрос и документ: две роли в семантическом поиске
В асимметричном поиске по короткому вопросу ищут более длинный абзац с ответом. Sentence Transformers рекомендует encode_query для запроса и encode_document для корпуса.
Методы могут применять промпты и маршрутизацию, сохранённые в конкретной модели. Это не означает, что они всегда используют разные веса.
Если модель не обучалась со специальными prompts или task types, encode, encode_query и encode_document могут вернуть одинаковые эмбеддинги. Выбор подходящей модели и оценка поиска всё равно нужны.
Документация и примеры
📍 Навигация: Вакансии • Задачи • Собесы
🐸 Библиотека дата-сайентиста | 1 032 |
| 8 |  Включите constrained layout до создания осей
Если подписи осей и шкала colorbar не помещаются, попробуйте plt.subplots(layout="constrained"). Matplotlib перераспределит место между осями и подписями, сохраняя заданную сетку. Включать режим обычно нужно до добавления Axes.
На изображении один и тот же синтетический массив, размер фигуры и шрифт. Сверху — стандартная компоновка с обрезанной подписью. Снизу — constrained layout, где подписи помещаются.
Не добавляйте следом tight_layout(): этот вызов выключает constrained layout. Если места слишком мало, увеличьте фигуру. Произвольные графические элементы всё равно могут обрезаться или перекрываться.
Документация и примеры
📍 Навигация: Вакансии • Задачи • Собесы
🐸 Библиотека дата-сайентиста | 1 004 |
| 9 |  MLflow: что меняется при переназначении alias
Alias champion в Model Registry можно переназначить с одной версии на другую. При загрузке URI вида models:/fraud@champion MLflow берёт версию, на которую alias указывает в этот момент. Имя fraud здесь условное.
После переназначения следующий вызов load_model по этому URI загрузит новую версию. Уже загруженный Python-объект сам от этого не обновится.
Для воспроизводимого эксперимента сохраняйте номер загруженной версии. Имя champion остаётся подвижной ссылкой и не заменяет проверку модели перед внедрением.
Документация и примеры
📍 Навигация: Вакансии • Задачи • Собесы
🐸 Библиотека дата-сайентиста | 1 089 |
| 10 |  В парном bootstrap выбирайте строки целиком
Если x и y относятся к одному наблюдению, при пересэмплировании нужно сохранить их пару. Например, для корреляции двух измерений у одних и тех же объектов.
В scipy.stats.bootstrap параметр paired=True выбирает один массив индексов и применяет его ко всем входным массивам. При paired=False каждый массив пересэмплируется независимо. На схеме видно, какие пары сохраняет общий набор индексов.
Одинаковой длины массивов для парности недостаточно: она определяется тем, как собраны данные. Обычный iid bootstrap также не учитывает автоматически временную зависимость или кластеры.
Документация и примеры
📍 Навигация: Вакансии • Задачи • Собесы
🐸 Библиотека дата-сайентиста | 1 121 |
| 11 |  Почему True | NA даёт True
У nullable boolean в pandas три значения: True, False и NA. Результат будет NA, только если его нельзя определить по известному операнду. Поэтому True | NA даёт True, а True & NA — NA. На карточке — четыре сочетания для dtype="boolean".
У фильтрации другое правило: NA в булевой маске исключает строку. Для данных [10, 20, 30] маска [True, False, NA] оставит [10]. Если нужно сохранить и строки с NA в маске, задайте это явно: фильтрация с mask.fillna(True) оставит [10, 30].
bool(pd.NA) при этом вызывает TypeError: у неизвестного нет однозначного булева значения.
Документация и примеры
📍 Навигация: Вакансии • Задачи • Собесы
🐸 Библиотека дата-сайентиста | 1 162 |
| 12 |  Куда HistGradientBoosting направляет строки с NaN
В HistGradientBoostingClassifier пропуски можно оставить как NaN. При обучении дерево в каждом разбиении выбирает для них левую или правую ветвь по выигрышу от разбиения. При предсказании использует выученное направление.
Есть отдельный случай: в обучении у этого признака пропусков не было, а при предсказании появился NaN. Тогда строка уйдёт в дочерний узел с большим числом обучающих объектов.
Это поведение конкретного классификатора scikit-learn. Выбирайте между NaN и импутацией по результатам валидации на вашей задаче.
Документация и примеры
📍 Навигация: Вакансии • Задачи • Собесы
🐸 Библиотека дата-сайентиста | 1 159 |
| 13 | ![📊 Расстояние между распределениями в понятных единицах В SciPy wasserstein_distance([0, 1, 3], [5, 6, 8]) возвращает 5,0. Вт](data:image/jpeg;base64,/9j/4AAQSkZJRgABAQAAAQABAAD/2wBDACgcHiMeGSgjISMtKygwPGRBPDc3PHtYXUlkkYCZlo+AjIqgtObDoKrarYqMyP/L2u71////m8H////6/+b9//j/2wBDASstLTw1PHZBQXb4pYyl+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj/wAARCAAeACgDASIAAhEBAxEB/8QAHwAAAQUBAQEBAQEAAAAAAAAAAAECAwQFBgcICQoL/8QAtRAAAgEDAwIEAwUFBAQAAAF9AQIDAAQRBRIhMUEGE1FhByJxFDKBkaEII0KxwRVS0fAkM2JyggkKFhcYGRolJicoKSo0NTY3ODk6Q0RFRkdISUpTVFVWV1hZWmNkZWZnaGlqc3R1dnd4eXqDhIWGh4iJipKTlJWWl5iZmqKjpKWmp6ipqrKztLW2t7i5usLDxMXGx8jJytLT1NXW19jZ2uHi4+Tl5ufo6erx8vP09fb3+Pn6/8QAHwEAAwEBAQEBAQEBAQAAAAAAAAECAwQFBgcICQoL/8QAtREAAgECBAQDBAcFBAQAAQJ3AAECAxEEBSExBhJBUQdhcRMiMoEIFEKRobHBCSMzUvAVYnLRChYkNOEl8RcYGRomJygpKjU2Nzg5OkNERUZHSElKU1RVVldYWVpjZGVmZ2hpanN0dXZ3eHl6goOEhYaHiImKkpOUlZaXmJmaoqOkpaanqKmqsrO0tba3uLm6wsPExcbHyMnK0tPU1dbX2Nna4uPk5ebn6Onq8vP09fb3+Pn6/9oADAMBAAIRAxEAPwDWZSTkMRSBCP4jTsjPX8KXIHBagBmw/wB40oXBzkmnZH96jI9RQAUUp6UUAN5z7U7IppPNGCeuMUALnntijNN2D0FAXB6CgB2aKQUUAf/Z){kind=small} 📊 Расстояние между распределениями в понятных единицах
В SciPy wasserstein_distance([0, 1, 3], [5, 6, 8]) возвращает 5,0. Второй набор сдвинут на пять единиц. На схеме каждая из трёх масс переносится на это расстояние.
Wasserstein-1 — минимальная стоимость переноса вероятностной массы: масса × расстояние. Для одномерных распределений это также площадь между CDF.
Аргументы функции — наблюдения или значения поддержки, а не частоты гистограммы. Если у значений есть частоты, передавайте их через u_weights и v_weights. Без весов наблюдения равновесны.
Результат измеряется в единицах исходной величины и зависит от масштаба. Это не p-value и не универсальный порог дрейфа данных.
🔗 Функция и примеры SciPy
📍 Навигация: Вакансии • Задачи • Собесы
🐸 Библиотека дата-сайентиста | 1 235 |
| 14 |  📊 Выделить область и подсветить точки в Altair
На scatter plot хочется быстро рассмотреть часть объектов. В Altair прямоугольное выделение задаётся через alt.selection_interval() и подключается с add_params(brush).
В официальном примере условие alt.when(brush) сохраняет цвет по числу цилиндров внутри выделения, а остальные точки делает серыми. Это изменение цвета, а не фильтрация данных.
На нашей статичной схеме с синтетическими данными видно, что внешние точки остаются на графике. Потянуть рамку можно в интерактивном примере по ссылке ниже. Его оси — Horsepower и Miles_per_Gallon.
Показанный API с alt.when соответствует текущему примеру Altair 6.
🔗 Интерактивный пример и код
📍 Навигация: Вакансии • Задачи • Собесы
🐸 Библиотека дата-сайентиста | 1 243 |
| 15 |  📊 STL: почему period=12, а seasonal=13
Для месячного ряда с годовым циклом period=12 означает 12 наблюдений в сезоне. А seasonal=13 задаёт нечётную длину окна сезонного сглаживания. Это разные параметры.
STL с помощью LOESS раскладывает ряд на тренд, сезонность и остаток. На графике показана декомпозиция синтетического месячного ряда с этими настройками.
robust=True уменьшает влияние больших ошибок через веса при сглаживании. Он не удаляет выбросы из исходных данных.
Сначала проверьте регулярность ряда и смысл выбранного периода. Сама декомпозиция не даёт прогноз. Для него нужна отдельная модель, например в составе STLForecast.
🔗 Разбор STL в statsmodels
📍 Навигация: Вакансии • Задачи • Собесы
🐸 Библиотека дата-сайентиста | 1 325 |
| 16 |  🔔 Последние дни акции Proglib Academy! Покупаете один курс — второй получаете в подарок. Успейте до 31 октября.
Можно совместить два направления и прокачать навыки сразу в нескольких областях:
⬆️ ИИ для разработчиков — системная работа с ИИ на всех этапах разработки: от планирования задачи до написания кода, тестирования и ревью.
⬆️ Разработка ИИ-агентов — создание собственных агентов для работы с данными, API и внешними сервисами. В программе — RAG, MCP, LangGraph, n8n и тестирование агентов.
Первый курс поможет встроить ИИ в привычный процесс разработки, второй — перейти к созданию собственных интеллектуальных инструментов.
🎁 А если эти направления не совсем то, что нужно, можно выбрать любые две программы из каталога.
Осталось совсем немного времени — акция заканчивается 31 октября!
👉 Подобрать свою пару курсов | 1 185 |
| 17 |  🧠 Можно ли верить вероятности 0,8
Модель хорошо ранжирует объекты. Это ещё не значит, что её вероятности надёжны. Среди прогнозов около 0,8 у калиброванной бинарной модели должно быть примерно 80% положительных исходов.
Reliability diagram группирует прогнозы в интервалы. По горизонтали — средняя предсказанная вероятность, по вертикали — фактическая доля положительных. На учебном графике 0,9 соответствует доле 0,75: модель излишне уверена.
Калибратор нельзя учить на in-sample прогнозах базовой модели. CalibratedClassifierCV использует для калибровки out-of-fold прогнозы.
Проверяйте число объектов в интервалах. Даже меньший Brier score сам по себе не доказывает лучшую калибровку: он зависит и от других свойств прогноза.
🔗 Калибровка в scikit-learn
📍 Навигация: Вакансии • Задачи • Собесы
🐸 Библиотека дата-сайентиста | 1 170 |
| 18 |  Алгоритм знает, где вы будете 7-го ноября 😎
RecSys-митап в Москве для тех, кто уже строит рекомендательные системы и хочет делать это еще лучше.
В программе — доклады от топовых экспертов Сбера с разбором кейсов, свежих подходов и неочевидных решений.
После официальной части — нетворкинг. Время в узком кругу профессионалов и сообщества Зеленый RecSys.
Участие бесплатное, но количество мест ограничено.
Москва. Суббота. 7 ноября. RecSys!
➡️ регистрируйтесь | 1 424 |
| 19 |  📊 Две строки превратились в четыре после merge
Заказы соединяют со справочником клиентов, а сумма покупок вдруг удваивается. Частая причина: ключ справочника оказался неуникальным.
На схеме у customer=7 две строки слева и две справа. Каждая левая совпадёт с каждой правой: 2 × 2 = 4 строки.
Если ожидаете «много заказов → один клиент», добавьте validate="many_to_one" в merge. pandas проверит уникальность правого ключа и на таком справочнике выбросит MergeError.
Для поиска заказов без пары пригодятся how="left", indicator=True и метка left_only. Учтите: null-ключи в pandas совпадают друг с другом, в отличие от обычного SQL.
🔗 Параметры pandas.merge
📍 Навигация: Вакансии • Задачи • Собесы
🐸 Библиотека дата-сайентиста | 1 240 |
| 20 |  ⚡ Только до 31 октября: покупайте один курс Proglib Academy и получайте второй в подарок!
Что можно освоить?
⏬ ИИ для разработчиков — применение ИИ на разных этапах разработки: от работы с кодом до тестирования, ревью и организации рабочего процесса.
⏬ Разработка ИИ-агентов — создание собственных агентов с памятью, интеграциями и доступом к внешним инструментам.
Научитесь не просто работать с нейросетями, а создавать решения, которые помогают автоматизировать реальные задачи 📍
Можно выбрать эту пару или сочетать любые другие курсы из каталога — под свои интересы и цели.
🎁 Один курс оплачиваете, второй получаете бесплатно. Акция длится до 31 октября.
✨ Прокачать скиллы по акции | 1 233 |
