Data Science | Machinelearning [ru]

👩‍💻 Разрабатываем первое AI приложение Статья анализирует роль языка и цифровизации в накоплении и передаче знаний. Обсуждаются вызовы структурирования данных, которые, несмотря на успехи машинного обучения и реляционных баз, всё ещё затрудняют полное понимание накопленной информации. Читать...

❓Хотите создавать невероятно точные рекомендательные системы? Освоить методы коллаборативной фильтрации, которые используют топовые IT-компании? Приходите на бесплатный вебинар для ML-специалистов, где мы разберем принципы рекомендательных алгоритмов, научимся строить модели и применять их на практике. 📣 Спикер Мария Тихонова — PhD Computer Science, Senior Data Scientist в IT-компании по разработке умных устройств, преподаватель одного из крупнейших вузов России. Занятие проходит перед стартом курса «Machine Learning. Professional» от Otus. Всем участникам — скидка на обучение! ➡️ Встречаемся 19 марта в 18:00 мск. Регистрация: https://vk.cc/cJEZIV Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

📚 Greenplum, PostgreSQL и Airflow в одном открытом вебинаре. Освойте ключевые инструменты работы с данными. Встречаемся на открытом вебинаре 18 марта в 20:00 мск. 🔍 На уроке вы: - Создадите инструмент для генерации данных в PostgreSQL - Настроите хранение истории данных в ArenadataDB - Напишете ETL-пайплайн для автоматической загрузки данных После занятия вы сможете строить дата-пайплайны и автоматизировать загрузку данных, что существенно упростит вашу работу с данными. 🎓 Записывайтесь и получите скидку на большое обучение «Greenplum для разработчиков и архитекторов баз данных»: https://vk.cc/cJDJ9r Не упустите возможность прокачать свои навыки и освоить современные технологии! 🚀 Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

🤔 3750 дней разработки AI или почему боты всё ещё не захватили покер Статья рассматривает создание AI для покера (Техасского безлимитного холдема) и анализирует его сложность как модели бизнес-отношений. Обсуждаются метрики и стратегии, которые игроки используют в изменяющемся контексте для принятия решений. Читать...

📝 Подборка вакансий для мидлов Data Engineer (Middle) • Python, SQL, PostgreSQL, Kubernetes, Apache Kafka, MongoDB, RabbitMQ • до 180 000 ₽ | 1–3 года Data Scientist (middle) • SQL, PostgreSQL, Apache Spark, Математическая статистика, A/B тестирование • Уровень дохода не указан | 1–3 года Data Scientist (Моделирование РБ) • SQL, Python, Apache Spark • Уровень дохода не указан | 1–3 года

👩‍💻 Как работает модуль os в Python для работы с файловой системой? Модуль os в Python предоставляет инструменты для взаимодействия с операционной системой. С его помощью можно управлять файлами и директориями, получать информацию о системе и переменных окружения, а также выполнять системные команды. Этот модуль особенно полезен для кроссплатформенных сценариев. ➡️ Пример:

import os

# Получение текущей директории
current_dir = os.getcwd()
print('Текущая директория:', current_dir)

# Создание новой директории
os.mkdir('new_folder')
print('Создана директория new_folder')

🗣 os позволяет удобно и кроссплатформенно работать с файловой системой, выполнять команды и настраивать окружение.

➡️ Семантическая сегментация: самый полный гайд Статья раскрывает, как семантическая сегментация помогает машинам «видеть», разбивая изображение на классы объектов. Обсуждаются её применение в автономных авто, медицине и обработке спутниковых снимков для точного распознавания контекста. Читать...

⚡ Мы подготовили для вас уникальное предложение — папку с более чем 40 статьями от ведущих экспертов, которые шаг за шагом проведут вас в мир IT-технологий. 🧑‍💻 Мы собрали в одну папку более 40 Telegram-каналов от известных экспертов в сфере информационных технологий, начиная от тестирования, базы данных и разработки до автоматизации процессов с помощью искусственного интеллекта. В этой папке вы получите ответы на такие вопросы, как: 🟠 Как автоматизировать процессы с помощью ИИ? 🟠 Какие профессии может заменить ИИ? 🟠 Как читать много каналов с помощью ИИ: делаем сводку любимых каналов с помощью no-code, доступно каждому? 🟠 Чек-лист правил супероффера для клиента. 🟠 Как оптимизировать SQL запрос в базу данных? 📎Делимся с вами статьёй "Что такое argparse в Python?" - Рассказываем про модуль который позволяет удобно разбирать, валидировать и документировать входные параметры. 📌 Сохранив папку «IT - ЛЕГКО», вы получите доступ ко всем каналам с уникальными авторскими материалами, которые несомненно будут полезны в работе.

🔎 Подборка вакансий для джунов ML\AI & Python Developer (Junior) 🟢Python, ML (scikit-learn, PyTorch, TensorFlow или аналоги), API, интеграции, Pandas, NumPy 🟢от 60 000 до 80 000 ₽ | 1–3 года Junior Data Analyst 🟢SQL, Microsoft Excel, Python (ETL), визуализация данных 🟢от 80 000 до 120 000 ₽ | 1–3 года Junior Data Analyst 🟢SQL, базы данных (MySQL, PostgreSQL), Python (pandas, numpy, matplotlib), инструменты визуализации данных (Looker Studio, Metabase, Power BI и др.) 🟢до 87 000 ₽ | 1–3 года

👩‍💻 Задачка по Python Напишите функцию, которая принимает список чисел и возвращает все значения, которые являются выбросами. Выбросы определяются как значения, которые находятся ниже первого квартиля (Q1) минус 1.5 * IQR или выше третьего квартиля (Q3) плюс 1.5 * IQR, где IQR — межквартильный размах. ➡️ Пример:

Входной список:
[10, 12, 14, 15, 15, 16, 16, 16, 17, 18, 19, 100]

Ожидаемый вывод:
[100]

Решение задачи ⬇️

import numpy as np def find_outliers(data): q1 = np.percentile(data, 25) q3 = np.percentile(data, 75) iqr = q3 - q1 lower_bound = q1 - 1.5 * iqr upper_bound = q3 + 1.5 * iqr return [x for x in data if x < lower_bound or x > upper_bound] # Пример использования: input_data = [10, 12, 14, 15, 15, 16, 16, 16, 17, 18, 19, 100] result = find_outliers(input_data) print(result) # Ожидаемый результат: [100]

🤔 Prompt Me One More Time. Учим LLM строить графы знаний из текстов Статья описывает метод, разработанный для автоматического наполнения графов знаний с помощью LLM, что снижает вероятность «галлюцинаций» и повышает точность ответов. Решение Prompt Me One More Time подробно представлено на TextGraphs-17 конференции ACL-2024. Читать...

🔥 Самые интересные статьи за последние дни: • KAN: Kolmogorov–Arnold Networks • Стандартное отклонение для полных чайников • Почему галлюцинируют нейросети [и что с этим делают] • Понимает ли Vision Llama импрессионистов? • Что ищет он в краю далёком? Как найти смысл жизни с PostgreSQL

👩‍💻 Задачка по Python Напишите функцию, которая принимает список email-адресов и возвращает уникальные домены из этого списка. Домен — это часть адреса после символа @. ➡️ Пример:

["user1@example.com", "user2@test.com", "user3@example.com", "user4@sample.com"]

#{"example.com", "test.com", "sample.com"}

Решение задачи ⬇️

def get_unique_domains(emails): domains = {email.split('@')[1] for email in emails} return domains # Пример использования: emails = ["user1@example.com", "user2@test.com", "user3@example.com", "user4@sample.com"] result = get_unique_domains(emails) print(result) # Ожидаемый результат: {'example.com', 'test.com', 'sample.com'}

👩‍💻 FlexiPrompt: Удобное создание динамических промптов в Python Статья знакомит с FlexiPrompt — лёгкой библиотекой для генерации промптов в Python при работе с языковыми моделями. Рассмотрены её преимущества: быстрая интеграция, гибкая настройка диалога и возможность создания нескольких агентов в одной LLM. Читать...

🚀 Развивай мышление архитектора Ты можешь быть отличным кодером, но без понимания архитектуры систем твои решения будут ограниченными. 👉 Совет: разбирайся в том, как строятся сложные системы. Читай про микросервисы, масштабирование, кэширование, распределённые базы данных. Даже если ты не архитектор, это сделает тебя сильнее как разработчика.

⚙️ Неувядающая классика или «чёрный ящик»: кто кого в битве за прогноз. Глава вторая. Продолжение Статья продолжает разбор моделирования температурного временного ряда с двойной сезонностью. Основное внимание уделено подбору оптимальных параметров сезонной модели САРПСС для точного описания данных. Читать...

🛍 Как базовые знания кодинга и нейросетей сэкономили нам больше 15 млн ₽ на Wildberries [скрины] Статья раскрывает процесс полной автоматизации создания карточек товаров для маркетплейсов, используя нейросети, Photoshop и немного креативного подхода. Описаны практические методы, которые экономят тысячи рублей на огромном ассортименте. Читать...

👩‍💻 Как работает __name__ == "__main__" в Python? Конструкция if __name__ == "__main__" определяет, выполняется ли скрипт как основная программа или импортируется в качестве модуля. Это позволяет запускать код только при непосредственном запуске скрипта, исключая его выполнение при импорте. ➡️ Пример:

def greet():
    print("Hello from greet!")

if __name__ == "__main__":
    greet()  # Этот вызов выполнится только при запуске скрипта напрямую

🗣 В этом примере greet() будет вызвана, если файл запускается напрямую. Если скрипт импортируется как модуль, greet() не вызовется, сохраняя модульную структуру кода.

🖥 Подробнее тут

✔️ Простой и быстрый тест LLM для прототипа: сравниваем 16 open-source-моделей на запросе с разной температурой В статье рассказывается, как быстро протестировать 16 LLM для создания текстовых прототипов, даже если вы не в теме ML. Берём несколько моделей, сравниваем результаты, оцениваем, подходит ли под задачу. Читать...

Приглашаем на конференцию Data Fusion 2025: ведущие специалисты в сфере науки, бизнеса и государства поделятся прикладными кейсами применения ML и DS и своим взглядом на будущее сферы на 70+ сессиях. 📌 Что в программе? — Новые подходы в ML — Кейс-стади от специалистов из различных индустрий: финтех, медицина, промышленность — Data Science для бизнеса — как применять ИИ для роста прибыли — Кейс-сессии и детальный разбор неочевидных проблем в ML 📅 Дата: 16-17 апреля 2025 📍 Место: Москва, технологический кластер «Ломоносов» 🚀 Бесплатная регистрация уже открыта: https://data-fusion.ru/ Ваша безопасность для нас приоритет, поэтому для участия в конференции мы просим заполнить развернутую форму. Благодарим за понимание! 🙌 — *ML — машинное обучение *Data science — наука о методах анализа данных