Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение
Все самое полезное для дата сайентиста в одном канале. Учиться у нас: clc.to/6qVHgg По рекламе: @tproger_sales_bot Для обратной связи: @proglibrary_feeedback_bot РКН: https://gosuslugi.ru/snet/67a5b03124c8ba6dcaa121c9
Mostrar más📈 Análisis del canal de Telegram Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение
El canal Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение (@dsproglib) en el segmento lingüístico de Ruso es un actor destacado. Actualmente la comunidad reúne a 18 328 suscriptores, ocupando la posición 7 104 en la categoría Tecnologías y Aplicaciones y el puesto 35 912 en la región Rusia.
📊 Métricas de audiencia y dinámica
Desde su creación el невідомо, el proyecto ha mostrado un crecimiento acelerado, reuniendo a 18 328 suscriptores.
Según los últimos datos del 17 octubre, 2026, el canal mantiene una actividad estable. En los últimos 30 días la variación de miembros fue de -11, y en las últimas 24 horas de -2, conservando un alto alcance.
- Estado de verificación: No verificado
- Tasa de interacción (ER): El promedio de interacción de la audiencia es 7.36%. Durante las primeras 24 horas tras publicar, el contenido suele obtener 3.34% de reacciones respecto al total de suscriptores.
- Alcance de las publicaciones: Cada publicación recibe en promedio 1 349 visualizaciones. En el primer día suele acumular 613 visualizaciones.
- Reacciones e interacción: La audiencia responde de forma activa: el promedio de reacciones por publicación es 4.
- Intereses temáticos: El contenido se centra en temas clave como сайентиста, llm, буст, навигация, openai.
📝 Descripción y política de contenido
El autor describe el recurso como un espacio para expresar opiniones subjetivas:
“Все самое полезное для дата сайентиста в одном канале.
Учиться у нас: clc.to/6qVHgg
По рекламе: @tproger_sales_bot
Для обратной связи: @proglibrary_feeedback_bot
РКН: https://gosuslugi.ru/snet/67a5b03124c8ba6dcaa121c9”
Gracias a la alta frecuencia de actualizaciones (últimos datos recibidos el 18 octubre, 2026), el canal mantiene la vigencia y un amplio alcance. La analítica demuestra que la audiencia interactúa activamente con el contenido, lo que lo convierte en un punto de referencia dentro de la categoría Tecnologías y Aplicaciones.
Cargando datos
| Fecha | Crecimiento de Suscriptores | Menciones | Canales | |
| 18 octubre | +1 | |||
| 17 octubre | +3 | |||
| 16 octubre | +3 | |||
| 15 octubre | +2 | |||
| 14 octubre | 0 | |||
| 13 octubre | +5 | |||
| 12 octubre | +16 | |||
| 11 octubre | +2 | |||
| 10 octubre | +1 | |||
| 09 octubre | +3 | |||
| 08 octubre | 0 | |||
| 07 octubre | +3 | |||
| 06 octubre | +5 | |||
| 05 octubre | +8 | |||
| 04 octubre | +3 | |||
| 03 octubre | +6 | |||
| 02 octubre | +1 | |||
| 01 octubre | 0 |
cross_val_predict с method="predict_proba".
Подозрительная метка — повод проверить пример, а не автоматически переписать ответ на вариант модели. Иначе исправление разметки может просто перенести в датасет её собственные ошибки.
🔗 Руководство по out-of-sample predictions
📍 Навигация: Вакансии • Задачи • Собесы
🐸 Библиотека дата-сайентиста| 2 | 🧠 Можно ли увидеть неуверенность LLM до конца ответа?
Уверенный тон ответа ещё не означает, что модель права. Авторы U-Space предлагают смотреть на внутренние состояния LLM и отслеживать, как меняется сигнал неопределённости по ходу генерации.
Они берут смысловые ориентиры для сомнения и уверенности, переводят их направления в пространство скрытых состояний и строят небольшое подпространство. U-Lens проецирует туда состояние каждого токена: получается карта, которую можно изучать отдельно или свести к одному показателю.
По описанию авторов, метод не требует меток правильности, дополнительного обучения и повторной генерации ответа. Они также проверяют, не объясняется ли качество сигнала просто длиной текста.
Это исследовательский препринт, а не готовый универсальный детектор галлюцинаций. Для применения нужен доступ к внутренним состояниям модели; по одному тексту ответа такую проверку не повторить.
🔗 Препринт U-Space и ссылка на код
📍 Навигация: Вакансии • Задачи • Собесы
🐸 Библиотека дата-сайентиста | 774 |
| 3 | 🧑💻 Какие навыки помогают вам в разработке в 2026 году?
Что вы чаще используете в работе? В каких задачах помогает ИИ, а где проще справиться самостоятельно?
Мы решили собрать портрет современного разработчика — и приглашаем вас поделиться своим опытом. Расскажите, какие навыки вам пригодились и как вы используете ИИ. Если обходите его стороной, нам тоже интересно узнать почему.
Опрос анонимный и займёт около 5 минут. Результаты опубликуем в общем большом исследовании.
👉 Пройти опрос | 429 |
| 4 | ☔️ Планы на выходные снова испортила погода? У нас есть план получше.
Выходные — хороший повод заняться тем, на что вечно не хватает времени. Например, освоить новый навык или углубиться в знакомую тему.
📍 В Proglib Academy покупаешь один курс, а второй получаешь в подарок. Платишь только за один!
Вот несколько сочетаний:
💥 Разработка ИИ-агентов + Python
💥 Machine Learning + Математика для Data Science
Можно выбрать и другие курсы — под свои интересы и цели.
⏳ Акция действует до 18 октября.
➡️ Выбрать курсы и оставить заявку | 822 |
| 5 | 🧹 Pandera: как собрать ошибки датасета в один отчёт
В выгрузке нет нужной колонки, числа приехали строками, а одна проверка диапазона не проходит. Если валидатор остановится на первой ошибке, остальные обнаружатся только после очередного исправления.
В Pandera можно описать схему DataFrame: типы, обязательные колонки и проверки значений. Параметр lazy=True собирает ошибки проверки вместо остановки на первом нарушении.
try:
schema.validate(df, lazy=True)
except pa.errors.SchemaErrors as exc:
print(exc.failure_cases)
Здесь schema — заранее заданная схема, df — данные, а pa — pandera.pandas. В failure_cases можно посмотреть, какие проверки и значения не прошли.
Такой отчёт удобен на входе в пайплайн: сначала понять масштаб проблем, затем решать, что исправлять или отклонять. Сам режим валидации данные автоматически не чинит.
🔗 Примеры lazy validation
📍 Навигация: Вакансии • Задачи • Собесы
🐸 Библиотека дата-сайентиста | 844 |
| 6 | Приходится ли вам копипастить данные и какие именно, когда переходите из одной нейросети в другую? | 552 |
| 7 | Общая папка для работы Claude Code и Codex
Луи-Франсуа Бушар собрал заметки, инструкции-скиллы, скрипты и итоги встреч в Obsidian. Его связка устроена так:
Папка хранит исходные материалы и решения
↓
Индекс указывает, где искать данные для задачи
↓
Claude Code планирует работу
↓
Codex выполняет задачи по его вызову
В описании этого рабочего процесса Бушар объясняет, зачем даёт агенту сведения для конкретной задачи. Начать предлагает с общей папки, короткого индекса и одного повторно используемого скилла.
#ии #инструменты | 490 |
| 8 | 🗂 Как DuckDB пропускает ненужные Parquet-файлы
Если данные лежат в папках year=2026/month=10/, значения в пути можно использовать как колонки. Это Hive partitioning: не обязательно записывать год и месяц в каждую строку файла.
SELECT *
FROM read_parquet(
'orders/*/*/*.parquet',
hive_partitioning = true
)
WHERE year = 2026 AND month = 10;
DuckDB проталкивает фильтр по ключам партиций к чтению файлов. Для такого запроса папки других месяцев можно пропустить, а не загружать весь набор и отсеивать строки после чтения.
Это полезно для выгрузок событий, заказов и логов, если запросы регулярно ограничены датой. Но разбиение помогает именно по ключам папок: фильтр по сумме заказа сам по себе не означает, что ненужные месяцы исчезнут из чтения.
🔗 Документация DuckDB
📍 Навигация: Вакансии • Задачи • Собесы
🐸 Библиотека дата-сайентиста | 924 |
| 9 | 💡 Почему порог 0,5 не обязан подходить вашей модели
Модель оценила вероятность положительного класса в 0,4. Ответ «нет» получается не из самой вероятности, а из правила, которое сравнивает её с порогом.
В бинарной классификации scikit-learn обычно использует 0,5 для вероятностей. Но пропущенное событие и ложная тревога могут стоить по-разному. Поэтому порог стоит подбирать под задачу: например, по F1 или своей функции полезности.
TunedThresholdClassifierCV делает это через внутреннюю кросс-валидацию. При смене порога вероятности могут остаться прежними, а метки классов и число ошибок — измениться.
Важно: не подбирайте порог по финальному тесту. А если используете cv="prefit", не отдавайте для настройки те же данные, на которых обучали модель. Иначе оптимизируете решение под уже знакомые примеры.
🔗 Порог классификации в scikit-learn
📍 Навигация: Вакансии • Задачи • Собесы
🐸 Библиотека дата-сайентиста | 1 071 |
| 10 | 👀 Как вы смотрите видео?
Разбираете урок, слушаете интервью фоном или начинаете на телефоне, а продолжаете на большом экране?
Хотим узнать, что делает просмотр удобным для вас. Вспомните последнее видео — ролик, урок, фильм или серию сериала — и расскажите о своём опыте. Если детали не запомнились, можно так и ответить.
🕰️ Опрос займёт около 3 минут.
В результатах сможете сравнить свои привычки с ответами других участников. А разработчики и инженеры видеоплатформы расскажут, что происходит по ту сторону экрана, пока вы смотрите видео.
🔗 Поделиться опытом
🐸 Библиотека программиста | 793 |
| 11 | 🧠 Агент сказал «готово». А что осталось в базе?
AI-агент может вызвать нужные инструменты, красиво отчитаться и всё равно оставить неправильный результат. Например, закрыть обращение, хотя оно должно ждать решения.
Microsoft ThinkingBox проверяет конечное состояние системы: нужные ли поля изменились, все ли действия выполнены, не появилось ли лишних побочных эффектов. В бенчмарке 507 бизнес-сценариев, каждый запускают 20 раз из одинакового начального состояния.
Одного успеха недостаточно:
— доля успешных попыток показывает обычное качество;
— хотя бы один успех за 20 попыток — возможность решить задачу;
— все 20 успешных запусков — наблюдаемую повторяемость.
Последнее тоже не гарантия безошибочной работы в проде. Но проверка результата в базе даёт больше информации, чем фраза «задача выполнена».
🔗 Разбор ThinkingBox
📍 Навигация: Вакансии • Задачи • Собесы
🐸 Библиотека дата-сайентиста | 1 135 |
| 12 | Общая папка для работы Claude Code и Codex
Луи-Франсуа Бушар собрал заметки, инструкции-скиллы, скрипты и итоги встреч в Obsidian. Его связка устроена так:
Папка хранит исходные материалы и решения
↓
Индекс указывает, где искать данные для задачи
↓
Claude Code планирует работу
↓
Codex выполняет задачи по его вызову
В описании этого рабочего процесса Бушар объясняет, зачем даёт агенту сведения для конкретной задачи. Начать предлагает с общей папки, короткого индекса и одного повторно используемого скилла.
#ии #инструменты | 1 087 |
| 13 | Приходится ли вам копипастить данные и какие именно, когда переходите из одной нейросети в другую? | 969 |
| 14 | ИИ-агент отвечает настолько точно, насколько готовы ваши данные. Как понять, что они готовы?
Разберёмся 23 октября в Москве на Fine Day 2026, офлайн-конференции о переходе от self-service BI к AI-native аналитике.
💡 В программе:
• дискуссия с руководителями аналитики ПИК, ДИКСИ, СИБУР и АвтоВАЗ: что нужно данным и командам для работы с ИИ
• миграция с Qlik и Power BI на FineBI, в том числе с помощью ИИ-агентов
• BI-система vs LLM: какие задачи кому отдавать, опыт Мосбиржи
демо FineBI 7.0 и ИИ-агентов Dora, можно принести свой сценарий
Участие бесплатное. После регистрации получите чек-лист «Готовы ли ваши данные к ИИ-агенту?» из 25 вопросов.
👉 Регистрация: https://clck.ru/3WMQBw | 1 385 |
| 15 | В субботу, 17 октября, Москва станет точкой притяжения для всех специалистов в области RecSys 🔥
Конференция AI Driver & RecSys — главное событие года для тех, кто создаёт, исследует и развивает рекомендательные системы.
🔝 Весь день ведущие эксперты индустрии из крупнейших IT-компаний проведут на площадке Сбера, чтобы обсудить:
— главные тренды и вызовы RecSys
— реальные кейсы и новейшие исследования
— передовые IT-решения для рекомендательных систем
Вы сможете сами пообщаться с теми, кто создает рекомендации для миллионов пользователей.
📍Офис Сбер, Москва, Кутузовский проспект, 32.
Участие бесплатное!
Количество мест для очного участия ограничено – успейте оставить заявку по ссылке ⚡️ | 1 343 |
| 16 | 🛡️ OpenAI предлагает safety cases для обучения frontier-моделей
OpenAI описала подход, при котором перед запуском крупных reinforcement learning-тренировок должна появляться структурированная документация по безопасности — с аргументами, доказательствами и остаточными рисками.
В подходе выделяют три уровня:
🟢 технические меры — alignment, sandboxing и мониторинг;
🟢 операционные правила — независимый review, возможность остановить обучение и аудит;
🟢 разбор инцидентов — поиск причин, postmortem и превращение инцидентов в regression-тесты.
Пока это не готовый отраслевой стандарт, а набор практик, которые OpenAI внедряет и планирует развивать.
🔗 Читать блог
📍 Навигация: Вакансии • Задачи • Собесы
🐸 Библиотека дата-сайентиста | 1 625 |
| 17 | Пока вы ковыряете обычные приложения, AI уже ставит эксперименты и делает покупки!
Стендап-комик Сева Ловкачёв вместе с экспертами MAGNIT OMNI и гостями в шоу «ПРОДАКТовая корзина» обсуждают актуальные новости технологий и разбираются, что попадёт на прод, а что — на мусорку.
Без духоты, с классными экспертами и интеллектуальным юмором.
Смотреть:
• YouTube
• VK Видео | 1 031 |
| 18 | 🤖 Google на 5 месяцев пустил AI-агента в реальные команды
Агент читал рабочие чаты и документы, заводил баги, писал коллегам и сам инициировал действия.
Но главный эксперимент оказался не про продуктивность. Люди начали ограничивать его доступ, создавать чаты без агента и отдельно договариваться о том, что ему можно делать.
🔗 Исследование
📍 Навигация: Вакансии • Задачи • Собесы
🐸 Библиотека дата-сайентиста | 1 637 |
| 19 | 🧠 Как создать единый технологический контур для распределения ML-нагрузок
Гибридная инфраструктура позволяет экономически выгодно распределять разные этапы ИИ- и ML-пайплайна по различным средам.
Для реализации полноценного гибрида Yandex Cloud имеет все необходимые инструменты.
🔹 Безопасная связность.
Cloud Interconnect объединяет локальную инфраструктуру и облако по приватному соединению. VPC Private Endpoint позволяет подключать облачные ресурсы без выхода трафика в публичный Интернет.
🔹 Выделенные вычисления.
BareMetal Extend — инфраструктура на выделенных серверах с виртуализацией или Kubernetes. Такой контур можно использовать для задач, где нужны изоляция, контроль над инфраструктурой и обработка данных вне публичного облака.
🔹 Полноценная data-платформа внутри корпоративной инфраструктуры.
В Stackland, который разворачивается локально в контуре компании, появились новые PaaS-компоненты:
• Managed Service for ClickHouse® и Managed Service for PostgreSQL — хранение и обработка данных;
• Managed Service for Trino + Object Storage — аналитический слой;
• Managed Service for Apache Airflow® — оркестрация data-пайплайнов;
• DataLens — визуализация данных.
В итоге получается единый технологический контур: локальная инфраструктура + облачные ресурсы + приватная сеть + инструменты для хранения, обработки и анализа данных.
Для data science это особенно интересно: вычисления и данные можно размещать там, где это рационально для конкретной задачи — учитывая требования к безопасности, производительности и стоимости.
Свое железо остается в деле, а облако добавляет гибкости. ⚙️ | 1 378 |
| 20 | 🧠 Что выведет код?
❤️ [1, 2, 99, 4]
🔥 [1, 2, 3, 4]
👍 [99, 2, 3, 4]
👾 Error
👇 Правильный ответ (нажми, чтобы прочитать):
🔥 [1, 2, 3, 4]
x[x > 2] использует булеву индексацию NumPy и создаёт отдельный массив. Поэтому изменение y не затрагивает исходный x.
⚠️ В NumPy важно понимать, когда вы работаете с view, а когда получаете copy. Обычный срез и булева индексация ведут себя по-разному.
📍 Навигация: Вакансии • Задачи • Собесы
🐸 Библиотека дата-сайентиста | 1 213 |
