Data Science | Machinelearning [ru]

🖥 Руководство по созданию приложения для поиска данных на основе агента GraphRAG Статья описывает приложение, объединяющее GraphRAG и AutoGen-агентов с локальными LLM от Ollama для автономного встраивания и вывода. Рассмотрены ключевые аспекты: интеграция знаний, настройка LLM, вызов функций и интерактивный интерфейс. Читать...

➡️ Путь разметки данных для NER: от Open Source до Prodigy Статья посвящена созданию обучающей выборки для NER. Описан опыт разметки данных с использованием Open Source инструментов и Prodigy, профессионального решения для ускорения процесса создания наборов данных. Читать...

❓ Что такое Overfitting и как его избежать в моделях машинного обучения? Overfitting (переобучение) возникает, когда модель слишком хорошо запоминает обучающие данные, включая шум, и теряет способность обобщать информацию на новых данных. Это приводит к высокому качеству на обучающем наборе, но плохим результатам на тестовых данных. ➡️ Основные способы предотвращения Overfitting:

1. Регуляризация: • L1 и L2-регуляризация добавляют штраф к сложным моделям. • Уменьшают коэффициенты модели, предотвращая избыточное подстраивание. 2. Dropout (для нейронных сетей): • Исключение случайных нейронов на этапе обучения. 3. Снижение сложности модели: • Использование меньшего числа признаков или более простых алгоритмов. 4. Увеличение данных: • Генерация новых данных или увеличение объёма обучающей выборки.

➡️ Пример:

from sklearn.linear_model import Ridge from sklearn.model_selection import train_test_split from sklearn.datasets import load_diabetes # Загружаем данные data = load_diabetes() X_train, X_test, y_train, y_test = train_test_split(data.data, data.target, test_size=0.2, random_state=42) # Создаём модель с регуляризацией (Ridge) ridge = Ridge(alpha=1.0) ridge.fit(X_train, y_train) # Оцениваем качество train_score = ridge.score(X_train, y_train) test_score = ridge.score(X_test, y_test) print(f"Train Score: {train_score}, Test Score: {test_score}")

🗣️ В этом примере Ridge-регрессия с параметром регуляризации alpha=1.0 помогает предотвратить переобучение, улучшая обобщающую способность модели. 🖥 Подробнее тут

🤔 Практика: мой опыт интеграции более 50 нейронных сетей в один проект Статья основана на полутора годах работы по внедрению нейронных сетей в веб-приложение с открытым исходным кодом. В ней собраны практические лайфхаки для решения реальных задач и преодоления сложностей, с которыми сталкиваются разработчики. Читать...

📈 Подборка статей для вашей карьеры • Пришёл на вакансию дизайнера, а стал питонистом: как IT-специалисты нашли свою первую работу • На сколько денег может рассчитывать ИТ-предприниматель в разных ветках развития • Анализ задачи с собеседования в Google: конь и телефонные кнопки • Быстрый старт в QA Fullstack: чем вооружиться будущему стажеру в Альфа-Банке • Как убить самоорганизацию в команде: вредные советы для лидера

📝 Подборка вакансий для сеньоров Senior Data Scientist (LLM) • Python, NLP, PyTorch • Уровень дохода не указан | Старший (Senior) Senior Data Scientist • Python, NLP, PyTorch, Linux, Pandas • Уровень дохода не указан | Старший (Senior) Data-инженер DWH в Маркет • Python, SQL • Уровень дохода не указан | Старший (Senior)

👩‍💻 Разрабатываем первое AI приложение Статья анализирует роль языка и цифровизации в накоплении и передаче знаний. Обсуждаются вызовы структурирования данных, которые, несмотря на успехи машинного обучения и реляционных баз, всё ещё затрудняют полное понимание накопленной информации. Читать...

❓Хотите создавать невероятно точные рекомендательные системы? Освоить методы коллаборативной фильтрации, которые используют топовые IT-компании? Приходите на бесплатный вебинар для ML-специалистов, где мы разберем принципы рекомендательных алгоритмов, научимся строить модели и применять их на практике. 📣 Спикер Мария Тихонова — PhD Computer Science, Senior Data Scientist в IT-компании по разработке умных устройств, преподаватель одного из крупнейших вузов России. Занятие проходит перед стартом курса «Machine Learning. Professional» от Otus. Всем участникам — скидка на обучение! ➡️ Встречаемся 19 марта в 18:00 мск. Регистрация: https://vk.cc/cJEZIV Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

📚 Greenplum, PostgreSQL и Airflow в одном открытом вебинаре. Освойте ключевые инструменты работы с данными. Встречаемся на открытом вебинаре 18 марта в 20:00 мск. 🔍 На уроке вы: - Создадите инструмент для генерации данных в PostgreSQL - Настроите хранение истории данных в ArenadataDB - Напишете ETL-пайплайн для автоматической загрузки данных После занятия вы сможете строить дата-пайплайны и автоматизировать загрузку данных, что существенно упростит вашу работу с данными. 🎓 Записывайтесь и получите скидку на большое обучение «Greenplum для разработчиков и архитекторов баз данных»: https://vk.cc/cJDJ9r Не упустите возможность прокачать свои навыки и освоить современные технологии! 🚀 Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

🤔 3750 дней разработки AI или почему боты всё ещё не захватили покер Статья рассматривает создание AI для покера (Техасского безлимитного холдема) и анализирует его сложность как модели бизнес-отношений. Обсуждаются метрики и стратегии, которые игроки используют в изменяющемся контексте для принятия решений. Читать...

📝 Подборка вакансий для мидлов Data Engineer (Middle) • Python, SQL, PostgreSQL, Kubernetes, Apache Kafka, MongoDB, RabbitMQ • до 180 000 ₽ | 1–3 года Data Scientist (middle) • SQL, PostgreSQL, Apache Spark, Математическая статистика, A/B тестирование • Уровень дохода не указан | 1–3 года Data Scientist (Моделирование РБ) • SQL, Python, Apache Spark • Уровень дохода не указан | 1–3 года

👩‍💻 Как работает модуль os в Python для работы с файловой системой? Модуль os в Python предоставляет инструменты для взаимодействия с операционной системой. С его помощью можно управлять файлами и директориями, получать информацию о системе и переменных окружения, а также выполнять системные команды. Этот модуль особенно полезен для кроссплатформенных сценариев. ➡️ Пример:

import os

# Получение текущей директории
current_dir = os.getcwd()
print('Текущая директория:', current_dir)

# Создание новой директории
os.mkdir('new_folder')
print('Создана директория new_folder')

🗣 os позволяет удобно и кроссплатформенно работать с файловой системой, выполнять команды и настраивать окружение.

➡️ Семантическая сегментация: самый полный гайд Статья раскрывает, как семантическая сегментация помогает машинам «видеть», разбивая изображение на классы объектов. Обсуждаются её применение в автономных авто, медицине и обработке спутниковых снимков для точного распознавания контекста. Читать...

⚡ Мы подготовили для вас уникальное предложение — папку с более чем 40 статьями от ведущих экспертов, которые шаг за шагом проведут вас в мир IT-технологий. 🧑‍💻 Мы собрали в одну папку более 40 Telegram-каналов от известных экспертов в сфере информационных технологий, начиная от тестирования, базы данных и разработки до автоматизации процессов с помощью искусственного интеллекта. В этой папке вы получите ответы на такие вопросы, как: 🟠 Как автоматизировать процессы с помощью ИИ? 🟠 Какие профессии может заменить ИИ? 🟠 Как читать много каналов с помощью ИИ: делаем сводку любимых каналов с помощью no-code, доступно каждому? 🟠 Чек-лист правил супероффера для клиента. 🟠 Как оптимизировать SQL запрос в базу данных? 📎Делимся с вами статьёй "Что такое argparse в Python?" - Рассказываем про модуль который позволяет удобно разбирать, валидировать и документировать входные параметры. 📌 Сохранив папку «IT - ЛЕГКО», вы получите доступ ко всем каналам с уникальными авторскими материалами, которые несомненно будут полезны в работе.

🔎 Подборка вакансий для джунов ML\AI & Python Developer (Junior) 🟢Python, ML (scikit-learn, PyTorch, TensorFlow или аналоги), API, интеграции, Pandas, NumPy 🟢от 60 000 до 80 000 ₽ | 1–3 года Junior Data Analyst 🟢SQL, Microsoft Excel, Python (ETL), визуализация данных 🟢от 80 000 до 120 000 ₽ | 1–3 года Junior Data Analyst 🟢SQL, базы данных (MySQL, PostgreSQL), Python (pandas, numpy, matplotlib), инструменты визуализации данных (Looker Studio, Metabase, Power BI и др.) 🟢до 87 000 ₽ | 1–3 года

👩‍💻 Задачка по Python Напишите функцию, которая принимает список чисел и возвращает все значения, которые являются выбросами. Выбросы определяются как значения, которые находятся ниже первого квартиля (Q1) минус 1.5 * IQR или выше третьего квартиля (Q3) плюс 1.5 * IQR, где IQR — межквартильный размах. ➡️ Пример:

Входной список:
[10, 12, 14, 15, 15, 16, 16, 16, 17, 18, 19, 100]

Ожидаемый вывод:
[100]

Решение задачи ⬇️

import numpy as np def find_outliers(data): q1 = np.percentile(data, 25) q3 = np.percentile(data, 75) iqr = q3 - q1 lower_bound = q1 - 1.5 * iqr upper_bound = q3 + 1.5 * iqr return [x for x in data if x < lower_bound or x > upper_bound] # Пример использования: input_data = [10, 12, 14, 15, 15, 16, 16, 16, 17, 18, 19, 100] result = find_outliers(input_data) print(result) # Ожидаемый результат: [100]

🤔 Prompt Me One More Time. Учим LLM строить графы знаний из текстов Статья описывает метод, разработанный для автоматического наполнения графов знаний с помощью LLM, что снижает вероятность «галлюцинаций» и повышает точность ответов. Решение Prompt Me One More Time подробно представлено на TextGraphs-17 конференции ACL-2024. Читать...

🔥 Самые интересные статьи за последние дни: • KAN: Kolmogorov–Arnold Networks • Стандартное отклонение для полных чайников • Почему галлюцинируют нейросети [и что с этим делают] • Понимает ли Vision Llama импрессионистов? • Что ищет он в краю далёком? Как найти смысл жизни с PostgreSQL

👩‍💻 Задачка по Python Напишите функцию, которая принимает список email-адресов и возвращает уникальные домены из этого списка. Домен — это часть адреса после символа @. ➡️ Пример:

["user1@example.com", "user2@test.com", "user3@example.com", "user4@sample.com"]

#{"example.com", "test.com", "sample.com"}

Решение задачи ⬇️

def get_unique_domains(emails): domains = {email.split('@')[1] for email in emails} return domains # Пример использования: emails = ["user1@example.com", "user2@test.com", "user3@example.com", "user4@sample.com"] result = get_unique_domains(emails) print(result) # Ожидаемый результат: {'example.com', 'test.com', 'sample.com'}

👩‍💻 FlexiPrompt: Удобное создание динамических промптов в Python Статья знакомит с FlexiPrompt — лёгкой библиотекой для генерации промптов в Python при работе с языковыми моделями. Рассмотрены её преимущества: быстрая интеграция, гибкая настройка диалога и возможность создания нескольких агентов в одной LLM. Читать...