Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение
Все самое полезное для дата сайентиста в одном канале. Учиться у нас: clc.to/6qVHgg По рекламе: @tproger_sales_bot Для обратной связи: @proglibrary_feeedback_bot РКН: https://gosuslugi.ru/snet/67a5b03124c8ba6dcaa121c9
Ko'proq ko'rsatish📈 Telegram kanali Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение analitikasi
Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение (@dsproglib) Rus til segmentidagi kanali faol ishtirokchi. Hozirda hamjamiyat 18 328 obunachidan iborat bo'lib, Texnologiyalar & Aralashmalar toifasida 7 104-o'rinni va Rossiya mintaqasida 35 912-o'rinni egallagan.
📊 Auditoriya ko‘rsatkichlari va dinamika
невідомо sanasidan buyon loyiha tez o‘sib, 18 328 obunachiga ega bo‘ldi.
17 Oktabr, 2026 dagi oxirgi ma’lumotlarga ko‘ra kanal barqaror faollikka ega. Oxirgi 30 kunda obunachilar soni -11 ga, so‘nggi 24 soatda esa -2 ga o‘zgardi va umumiy qamrov yuqori darajada qolmoqda.
- Tasdiqlash holati: Tasdiqlanmagan
- Jalb etish (ER): Auditoriya o‘rtacha 7.36% darajada jalb etiladi. Nashrdan keyingi dastlabki 24 soatda kontent odatda umumiy obunachilar sonining 3.34% ini tashkil etuvchi reaksiyalarni to‘playdi.
- Post qamrovi: Har bir post o‘rtacha 1 349 marta ko‘riladi; birinchi sutkada odatda 613 ta ko‘rish yig‘iladi.
- Reaksiyalar va o‘zaro ta’sir: Auditoriya faol: har bir postga o‘rtacha 4 ta reaksiya keladi.
- Tematik yo‘nalishlar: Kontent сайентиста, llm, буст, навигация, openai kabi asosiy mavzularga jamlangan.
📝 Tavsif va kontent siyosati
Muallif resursni shaxsiy fikrni ifoda etish maydoni sifatida ta’riflaydi:
“Все самое полезное для дата сайентиста в одном канале.
Учиться у нас: clc.to/6qVHgg
По рекламе: @tproger_sales_bot
Для обратной связи: @proglibrary_feeedback_bot
РКН: https://gosuslugi.ru/snet/67a5b03124c8ba6dcaa121c9”
Yuqori yangilanish chastotasi (oxirgi ma’lumot 18 Oktabr, 2026 da olingan) sababli kanal doimo dolzarb va katta qamrovli bo‘lib qoladi. Analitika auditoriya kontent bilan faol hamkorlik qilishini, uni Texnologiyalar & Aralashmalar toifasidagi muhim ta’sir nuqtasiga aylantirishini ko‘rsatadi.
Ma'lumotlar yuklanmoqda
| Sana | Obunachilarni jalb qilish | Esdaliklar | Kanallar | |
| 18 Oktabr | +1 | |||
| 17 Oktabr | +3 | |||
| 16 Oktabr | +3 | |||
| 15 Oktabr | +2 | |||
| 14 Oktabr | 0 | |||
| 13 Oktabr | +5 | |||
| 12 Oktabr | +16 | |||
| 11 Oktabr | +2 | |||
| 10 Oktabr | +1 | |||
| 09 Oktabr | +3 | |||
| 08 Oktabr | 0 | |||
| 07 Oktabr | +3 | |||
| 06 Oktabr | +5 | |||
| 05 Oktabr | +8 | |||
| 04 Oktabr | +3 | |||
| 03 Oktabr | +6 | |||
| 02 Oktabr | +1 | |||
| 01 Oktabr | 0 |
cross_val_predict с method="predict_proba".
Подозрительная метка — повод проверить пример, а не автоматически переписать ответ на вариант модели. Иначе исправление разметки может просто перенести в датасет её собственные ошибки.
🔗 Руководство по out-of-sample predictions
📍 Навигация: Вакансии • Задачи • Собесы
🐸 Библиотека дата-сайентиста| 2 | 🧠 Можно ли увидеть неуверенность LLM до конца ответа?
Уверенный тон ответа ещё не означает, что модель права. Авторы U-Space предлагают смотреть на внутренние состояния LLM и отслеживать, как меняется сигнал неопределённости по ходу генерации.
Они берут смысловые ориентиры для сомнения и уверенности, переводят их направления в пространство скрытых состояний и строят небольшое подпространство. U-Lens проецирует туда состояние каждого токена: получается карта, которую можно изучать отдельно или свести к одному показателю.
По описанию авторов, метод не требует меток правильности, дополнительного обучения и повторной генерации ответа. Они также проверяют, не объясняется ли качество сигнала просто длиной текста.
Это исследовательский препринт, а не готовый универсальный детектор галлюцинаций. Для применения нужен доступ к внутренним состояниям модели; по одному тексту ответа такую проверку не повторить.
🔗 Препринт U-Space и ссылка на код
📍 Навигация: Вакансии • Задачи • Собесы
🐸 Библиотека дата-сайентиста | 774 |
| 3 | 🧑💻 Какие навыки помогают вам в разработке в 2026 году?
Что вы чаще используете в работе? В каких задачах помогает ИИ, а где проще справиться самостоятельно?
Мы решили собрать портрет современного разработчика — и приглашаем вас поделиться своим опытом. Расскажите, какие навыки вам пригодились и как вы используете ИИ. Если обходите его стороной, нам тоже интересно узнать почему.
Опрос анонимный и займёт около 5 минут. Результаты опубликуем в общем большом исследовании.
👉 Пройти опрос | 429 |
| 4 | ☔️ Планы на выходные снова испортила погода? У нас есть план получше.
Выходные — хороший повод заняться тем, на что вечно не хватает времени. Например, освоить новый навык или углубиться в знакомую тему.
📍 В Proglib Academy покупаешь один курс, а второй получаешь в подарок. Платишь только за один!
Вот несколько сочетаний:
💥 Разработка ИИ-агентов + Python
💥 Machine Learning + Математика для Data Science
Можно выбрать и другие курсы — под свои интересы и цели.
⏳ Акция действует до 18 октября.
➡️ Выбрать курсы и оставить заявку | 822 |
| 5 | 🧹 Pandera: как собрать ошибки датасета в один отчёт
В выгрузке нет нужной колонки, числа приехали строками, а одна проверка диапазона не проходит. Если валидатор остановится на первой ошибке, остальные обнаружатся только после очередного исправления.
В Pandera можно описать схему DataFrame: типы, обязательные колонки и проверки значений. Параметр lazy=True собирает ошибки проверки вместо остановки на первом нарушении.
try:
schema.validate(df, lazy=True)
except pa.errors.SchemaErrors as exc:
print(exc.failure_cases)
Здесь schema — заранее заданная схема, df — данные, а pa — pandera.pandas. В failure_cases можно посмотреть, какие проверки и значения не прошли.
Такой отчёт удобен на входе в пайплайн: сначала понять масштаб проблем, затем решать, что исправлять или отклонять. Сам режим валидации данные автоматически не чинит.
🔗 Примеры lazy validation
📍 Навигация: Вакансии • Задачи • Собесы
🐸 Библиотека дата-сайентиста | 844 |
| 6 | Приходится ли вам копипастить данные и какие именно, когда переходите из одной нейросети в другую? | 552 |
| 7 | Общая папка для работы Claude Code и Codex
Луи-Франсуа Бушар собрал заметки, инструкции-скиллы, скрипты и итоги встреч в Obsidian. Его связка устроена так:
Папка хранит исходные материалы и решения
↓
Индекс указывает, где искать данные для задачи
↓
Claude Code планирует работу
↓
Codex выполняет задачи по его вызову
В описании этого рабочего процесса Бушар объясняет, зачем даёт агенту сведения для конкретной задачи. Начать предлагает с общей папки, короткого индекса и одного повторно используемого скилла.
#ии #инструменты | 490 |
| 8 | 🗂 Как DuckDB пропускает ненужные Parquet-файлы
Если данные лежат в папках year=2026/month=10/, значения в пути можно использовать как колонки. Это Hive partitioning: не обязательно записывать год и месяц в каждую строку файла.
SELECT *
FROM read_parquet(
'orders/*/*/*.parquet',
hive_partitioning = true
)
WHERE year = 2026 AND month = 10;
DuckDB проталкивает фильтр по ключам партиций к чтению файлов. Для такого запроса папки других месяцев можно пропустить, а не загружать весь набор и отсеивать строки после чтения.
Это полезно для выгрузок событий, заказов и логов, если запросы регулярно ограничены датой. Но разбиение помогает именно по ключам папок: фильтр по сумме заказа сам по себе не означает, что ненужные месяцы исчезнут из чтения.
🔗 Документация DuckDB
📍 Навигация: Вакансии • Задачи • Собесы
🐸 Библиотека дата-сайентиста | 924 |
| 9 | 💡 Почему порог 0,5 не обязан подходить вашей модели
Модель оценила вероятность положительного класса в 0,4. Ответ «нет» получается не из самой вероятности, а из правила, которое сравнивает её с порогом.
В бинарной классификации scikit-learn обычно использует 0,5 для вероятностей. Но пропущенное событие и ложная тревога могут стоить по-разному. Поэтому порог стоит подбирать под задачу: например, по F1 или своей функции полезности.
TunedThresholdClassifierCV делает это через внутреннюю кросс-валидацию. При смене порога вероятности могут остаться прежними, а метки классов и число ошибок — измениться.
Важно: не подбирайте порог по финальному тесту. А если используете cv="prefit", не отдавайте для настройки те же данные, на которых обучали модель. Иначе оптимизируете решение под уже знакомые примеры.
🔗 Порог классификации в scikit-learn
📍 Навигация: Вакансии • Задачи • Собесы
🐸 Библиотека дата-сайентиста | 1 071 |
| 10 | 👀 Как вы смотрите видео?
Разбираете урок, слушаете интервью фоном или начинаете на телефоне, а продолжаете на большом экране?
Хотим узнать, что делает просмотр удобным для вас. Вспомните последнее видео — ролик, урок, фильм или серию сериала — и расскажите о своём опыте. Если детали не запомнились, можно так и ответить.
🕰️ Опрос займёт около 3 минут.
В результатах сможете сравнить свои привычки с ответами других участников. А разработчики и инженеры видеоплатформы расскажут, что происходит по ту сторону экрана, пока вы смотрите видео.
🔗 Поделиться опытом
🐸 Библиотека программиста | 793 |
| 11 | 🧠 Агент сказал «готово». А что осталось в базе?
AI-агент может вызвать нужные инструменты, красиво отчитаться и всё равно оставить неправильный результат. Например, закрыть обращение, хотя оно должно ждать решения.
Microsoft ThinkingBox проверяет конечное состояние системы: нужные ли поля изменились, все ли действия выполнены, не появилось ли лишних побочных эффектов. В бенчмарке 507 бизнес-сценариев, каждый запускают 20 раз из одинакового начального состояния.
Одного успеха недостаточно:
— доля успешных попыток показывает обычное качество;
— хотя бы один успех за 20 попыток — возможность решить задачу;
— все 20 успешных запусков — наблюдаемую повторяемость.
Последнее тоже не гарантия безошибочной работы в проде. Но проверка результата в базе даёт больше информации, чем фраза «задача выполнена».
🔗 Разбор ThinkingBox
📍 Навигация: Вакансии • Задачи • Собесы
🐸 Библиотека дата-сайентиста | 1 135 |
| 12 | Общая папка для работы Claude Code и Codex
Луи-Франсуа Бушар собрал заметки, инструкции-скиллы, скрипты и итоги встреч в Obsidian. Его связка устроена так:
Папка хранит исходные материалы и решения
↓
Индекс указывает, где искать данные для задачи
↓
Claude Code планирует работу
↓
Codex выполняет задачи по его вызову
В описании этого рабочего процесса Бушар объясняет, зачем даёт агенту сведения для конкретной задачи. Начать предлагает с общей папки, короткого индекса и одного повторно используемого скилла.
#ии #инструменты | 1 087 |
| 13 | Приходится ли вам копипастить данные и какие именно, когда переходите из одной нейросети в другую? | 969 |
| 14 | ИИ-агент отвечает настолько точно, насколько готовы ваши данные. Как понять, что они готовы?
Разберёмся 23 октября в Москве на Fine Day 2026, офлайн-конференции о переходе от self-service BI к AI-native аналитике.
💡 В программе:
• дискуссия с руководителями аналитики ПИК, ДИКСИ, СИБУР и АвтоВАЗ: что нужно данным и командам для работы с ИИ
• миграция с Qlik и Power BI на FineBI, в том числе с помощью ИИ-агентов
• BI-система vs LLM: какие задачи кому отдавать, опыт Мосбиржи
демо FineBI 7.0 и ИИ-агентов Dora, можно принести свой сценарий
Участие бесплатное. После регистрации получите чек-лист «Готовы ли ваши данные к ИИ-агенту?» из 25 вопросов.
👉 Регистрация: https://clck.ru/3WMQBw | 1 385 |
| 15 | В субботу, 17 октября, Москва станет точкой притяжения для всех специалистов в области RecSys 🔥
Конференция AI Driver & RecSys — главное событие года для тех, кто создаёт, исследует и развивает рекомендательные системы.
🔝 Весь день ведущие эксперты индустрии из крупнейших IT-компаний проведут на площадке Сбера, чтобы обсудить:
— главные тренды и вызовы RecSys
— реальные кейсы и новейшие исследования
— передовые IT-решения для рекомендательных систем
Вы сможете сами пообщаться с теми, кто создает рекомендации для миллионов пользователей.
📍Офис Сбер, Москва, Кутузовский проспект, 32.
Участие бесплатное!
Количество мест для очного участия ограничено – успейте оставить заявку по ссылке ⚡️ | 1 343 |
| 16 | 🛡️ OpenAI предлагает safety cases для обучения frontier-моделей
OpenAI описала подход, при котором перед запуском крупных reinforcement learning-тренировок должна появляться структурированная документация по безопасности — с аргументами, доказательствами и остаточными рисками.
В подходе выделяют три уровня:
🟢 технические меры — alignment, sandboxing и мониторинг;
🟢 операционные правила — независимый review, возможность остановить обучение и аудит;
🟢 разбор инцидентов — поиск причин, postmortem и превращение инцидентов в regression-тесты.
Пока это не готовый отраслевой стандарт, а набор практик, которые OpenAI внедряет и планирует развивать.
🔗 Читать блог
📍 Навигация: Вакансии • Задачи • Собесы
🐸 Библиотека дата-сайентиста | 1 625 |
| 17 | Пока вы ковыряете обычные приложения, AI уже ставит эксперименты и делает покупки!
Стендап-комик Сева Ловкачёв вместе с экспертами MAGNIT OMNI и гостями в шоу «ПРОДАКТовая корзина» обсуждают актуальные новости технологий и разбираются, что попадёт на прод, а что — на мусорку.
Без духоты, с классными экспертами и интеллектуальным юмором.
Смотреть:
• YouTube
• VK Видео | 1 031 |
| 18 | 🤖 Google на 5 месяцев пустил AI-агента в реальные команды
Агент читал рабочие чаты и документы, заводил баги, писал коллегам и сам инициировал действия.
Но главный эксперимент оказался не про продуктивность. Люди начали ограничивать его доступ, создавать чаты без агента и отдельно договариваться о том, что ему можно делать.
🔗 Исследование
📍 Навигация: Вакансии • Задачи • Собесы
🐸 Библиотека дата-сайентиста | 1 637 |
| 19 | 🧠 Как создать единый технологический контур для распределения ML-нагрузок
Гибридная инфраструктура позволяет экономически выгодно распределять разные этапы ИИ- и ML-пайплайна по различным средам.
Для реализации полноценного гибрида Yandex Cloud имеет все необходимые инструменты.
🔹 Безопасная связность.
Cloud Interconnect объединяет локальную инфраструктуру и облако по приватному соединению. VPC Private Endpoint позволяет подключать облачные ресурсы без выхода трафика в публичный Интернет.
🔹 Выделенные вычисления.
BareMetal Extend — инфраструктура на выделенных серверах с виртуализацией или Kubernetes. Такой контур можно использовать для задач, где нужны изоляция, контроль над инфраструктурой и обработка данных вне публичного облака.
🔹 Полноценная data-платформа внутри корпоративной инфраструктуры.
В Stackland, который разворачивается локально в контуре компании, появились новые PaaS-компоненты:
• Managed Service for ClickHouse® и Managed Service for PostgreSQL — хранение и обработка данных;
• Managed Service for Trino + Object Storage — аналитический слой;
• Managed Service for Apache Airflow® — оркестрация data-пайплайнов;
• DataLens — визуализация данных.
В итоге получается единый технологический контур: локальная инфраструктура + облачные ресурсы + приватная сеть + инструменты для хранения, обработки и анализа данных.
Для data science это особенно интересно: вычисления и данные можно размещать там, где это рационально для конкретной задачи — учитывая требования к безопасности, производительности и стоимости.
Свое железо остается в деле, а облако добавляет гибкости. ⚙️ | 1 378 |
| 20 | 🧠 Что выведет код?
❤️ [1, 2, 99, 4]
🔥 [1, 2, 3, 4]
👍 [99, 2, 3, 4]
👾 Error
👇 Правильный ответ (нажми, чтобы прочитать):
🔥 [1, 2, 3, 4]
x[x > 2] использует булеву индексацию NumPy и создаёт отдельный массив. Поэтому изменение y не затрагивает исходный x.
⚠️ В NumPy важно понимать, когда вы работаете с view, а когда получаете copy. Обычный срез и булева индексация ведут себя по-разному.
📍 Навигация: Вакансии • Задачи • Собесы
🐸 Библиотека дата-сайентиста | 1 213 |
