Data Science | Machinelearning [ru]

🔥 Самые интересные статьи за последние дни: • Построение базы знаний компании и поиска документов на LLM и RAG • Что побуждает LLM врать и как этого избежать в своих продуктах • Ломаем капчу 4Chan • На чём учатся современные модели машинного перевода: опыт команды Яндекс Переводчика • Gemini вырывается вперед, Китай спамит моделями, в Minecraft запустили AI-агентов: главные события ноября в сфере ИИ

👩‍💻 Удаление выбросов из набора данных Напишите функцию, которая принимает pandas.DataFrame и название столбца, а затем возвращает новый DataFrame, в котором выбросы (значения, выходящие за пределы 1.5 межквартильного размаха) удалены. Пример:

import pandas as pd

data = pd.DataFrame({
    "values": [10, 12, 15, 100, 14, 13, 11, 102, 16]
})

cleaned_data = remove_outliers(data, "values")
print(cleaned_data)
# Ожидаемый результат:
#    values
# 0      10
# 1      12
# 2      15
# 4      14
# 5      13
# 6      11
# 8      16

Решение задачи🔽

import pandas as pd def remove_outliers(df, column): Q1 = df[column].quantile(0.25) Q3 = df[column].quantile(0.75) IQR = Q3 - Q1 lower_bound = Q1 - 1.5 * IQR upper_bound = Q3 + 1.5 * IQR return df[(df[column] >= lower_bound) & (df[column] <= upper_bound)] # Пример использования: data = pd.DataFrame({ "values": [10, 12, 15, 100, 14, 13, 11, 102, 16] }) cleaned_data = remove_outliers(data, "values") print(cleaned_data)

💬 Голосовая аутентификация через GPT Статья исследует возможность аутентификации пользователей GPT-чата во внешних приложениях. Рассматривается голосовое взаимодействие и альтернативный способ аутентификации через пароли вместо OAuth 2.0. Читать...

🧠 Тренируй «мышцы контекстного переключения» Работаешь сразу над несколькими проектами, но каждый раз, переключаясь между задачами, чувствуешь, что теряешь поток? Это проблема многих. 👉 Совет: прежде чем сменить задачу, потрать пару минут на запись текущего состояния. Напиши кратко: что ты сделал, что осталось, какие идеи у тебя есть. Когда вернёшься, тебе не придётся вспоминать всё с нуля — это экономит тонны времени и нервов.

⚙️ Пишем сервис инференса ML-модели на go, на примере BERT-а Статья объясняет, как внедрить ML-модель, обученную на Python, в сервис на Go, используя ONNX. Рассматривается пример работы с моделью seara/rubert-tiny2-russian-sentiment для анализа сентимента текста. Читать...

📝 Подборка вакансий для лидов Team Lead IT отдела • Python, Django, FastAPI, Celery, PostgreSQL, Redis, JavaScript, Blazor wasm, ASP.NET, IdentityServer, Kafka, RabbitMQ • от 150 000 ₽ | от 3 лет ML Engineer • Python, TensorFlow, PyTorch, Keras, SQL, Pandas, Jupyter Notebook, OpenAI GPT, LLaMA, Whisper, Google TTS, Amazon Polly, WebRTC, Zoom API, Google Calendar API, iCalendar, REST, GraphQL, MLOps, MLflow, DVC • от 1 000 до 2 000 $ | от 3 лет Архитектор Решений / Solution Architect • Greenplum, Apache Spark, Apache Airflow, DWH, ETL, SQL, Python, Teradata, Hadoop, Apache NiFi, S3, Apache Spark Streaming • Уровень дохода не указан | от 3 лет

⚙️ Что такое argparse в Python? argparse — это стандартный модуль Python для работы с аргументами командной строки. Он позволяет удобно разбирать, валидировать и документировать входные параметры. ➡️ Пример:

import argparse

# Создаём парсер аргументов
parser = argparse.ArgumentParser(description="Пример работы с argparse")
parser.add_argument("--name", type=str, help="Имя пользователя")
parser.add_argument("--age", type=int, help="Возраст пользователя")

# Разбираем аргументы
args = parser.parse_args()

# Используем аргументы
print(f"Привет, {args.name}! Тебе {args.age} лет.")

🗣️ В этом примере argparse разбирает аргументы --name и --age, переданные через командную строку. Это упрощает создание CLI-приложений.

🖥 Подробнее тут

🤖 Как мы сделали клиентскую поддержку интернет-магазина действительно умной: опыт внедрения RAG-бота Статья описывает разработку «умного» помощника для клиентской поддержки интернет-магазина. Рассматриваются проблемы, с которыми сталкивался клиент, и пути их решения с помощью ИИ. Читать...

Пишите код быстрее и оставляйте больше времени на творчество вместе с AI-ассистентом разработчика Устали от рутины? Отдайте ее AI! Заходите на платформу GitVerse и пишите код вместе с AI-ассистентом GigaCode. Он поддерживает более 35 языков, умеет анализировать контекст, дописывать строки и функции в автоматическом и ручном режимах, а еще — писать код по комментариям и делать рефакторинг с помощью коротких команд. Всего за пару минут AI-помощник может оценить проект и трудозатраты на его создание. Внутри AI есть функция CodeChat — с ней можно оптимизировать или отрефакторить имеющийся код, сгенерировать тесты и документацию, а также объяснить фрагмент кода. Задавать вопросы можно и по всему открытому файлу, и по конкретному фрагменту — просто выделите его в редакторе и сформулируйте запрос к CodeChat. Хорошие новости — недавно GigaCode обновился и стал еще лучше справляться с задачами разработки: теперь наиболее вероятные продолжения кода будут генерироваться с учётом контекста всего проекта. Не забудьте обновить плагин GigaCode :) Зарегистрироваться на GitVerse.

📈 Подборка статей для вашей карьеры • Как продакт-менеджеру учить английский: план, сроки, советы • Иллюзия прогресса: почему мне не удалось дать студентам-айтишникам реальный опыт • Interview copilots: как кандидаты используют ChatGPT на интервью • Моя история входа в IT: как я ломал стены своих ограничений • Как мы разработали систему грейдинга для системных аналитиков

📝 Подборка вакансий для сеньоров Аналитик данных / Data Analyst • SQL (Clickhouse, Postgres, MS SQL), Python, статистика, A/B тестирование, Jupyter Notebook, GIT, BI-системы (Datalens, Superset), ML-подходы • от 300 000 до 400 000 ₽ | от 3 лет Senior Data Scientist (Recsys) • Python, PyTorch, машинное обучение, глубокое обучение, свёрточные нейросети, трансформеры • Уровень дохода не указан | Требуемый опыт не указан Эксперт по безопасности инфраструктуры Big Data • Hadoop, Clickhouse, Kafka, Airflow, Zeppelin, Apache Ranger, IDM, k8s, деперсонализация данных, обфускация • Уровень дохода не указан | Требуемый опыт не указан Senior Python developer (Evolution Openstack) • Python 3.10, PostgreSQL, SQLAlchemy, Linux, OpenStack, KVM, Ansible, RabbitMQ, Docker, Kubernetes • Уровень дохода не указан | от 3 лет

☝ Машинное обучение для начинающих: Введение в нейронные сети Этот пост предназначен для абсолютных новичков и предполагает НУЛЕВЫЕ предварительные знания машинного обучения. Мы разберемся, как работают нейронные сети, и реализуем одну из них с нуля на Python. Читать...

➡️ DeepSeek AI: От инъекции промпта до захвата аккаунта Статья рассказывает о новой AI-модели DeepSeek-R1-Lite, созданной для логических рассуждений. Рассматриваются её возможности, тестирование и перспективы применения в задачах анализа и вычислений. Читать...

👩‍💻 Поиск корреляции между столбцами Напишите функцию, которая принимает pandas.DataFrame и возвращает два столбца с наибольшей корреляцией. Пример:

import pandas as pd

data = pd.DataFrame({
    "A": [1, 2, 3, 4],
    "B": [2, 4, 6, 8],
    "C": [5, 3, 6, 2],
    "D": [10, 20, 30, 40]
})

result = find_highest_correlation(data)
print(result)
# Ожидаемый результат: ('B', 'D')

Решение задачи🔽

import pandas as pd def find_highest_correlation(df): corr_matrix = df.corr() max_corr = 0 columns = (None, None) for col1 in corr_matrix.columns: for col2 in corr_matrix.columns: if col1 != col2 and corr_matrix[col1][col2] > max_corr: max_corr = corr_matrix[col1][col2] columns = (col1, col2) return columns # Пример использования: data = pd.DataFrame({ "A": [1, 2, 3, 4], "B": [2, 4, 6, 8], "C": [5, 3, 6, 2], "D": [10, 20, 30, 40] }) result = find_highest_correlation(data) print(result)

➡️ Машинное обучение: Линейная регрессия. Теория и реализация. С нуля. На чистом Python В этой статье я рассказываю про линейную регрессию, свойства, которыми должны обладать данные для модели, процесс обучения, регуляризацию, метрики качества. Кроме чистой теории я показываю как это все реализовать. Я рассказываю все в своем стиле и понимании - с инженерной точки зрения, с точки зрения того, как реализовывать с нуля. Читать...

📝 Подборка вакансий для мидлов DevOps-инженер в Data Platform (Big Data) • Linux, Kubernetes, CI/CD • Уровень дохода не указан | от 3 лет Data Analyst • Python, Apache Spark, SQL, Apache Hadoop • Уровень дохода не указан | от 2 лет ML-инженер • Python, TensorFlow, PyTorch, Keras • Уровень дохода не указан | от 1 года Middle Python Developer [Bridge] • Python, REST, Apache Kafka, RabbitMQ, Asyncio, AIOHTTP, ООП • Уровень дохода не указан | от 1 года

⚙️ Что такое модуль collections в Python и как он используется? collections — это стандартный модуль Python, который предоставляет высокопроизводительные контейнеры данных, такие как Counter, deque, и defaultdict. Он используется для более удобной работы со структурами данных. ➡️ Пример:

from collections import Counter

data = ['apple', 'banana', 'apple', 'orange', 'banana', 'apple']
counter = Counter(data)
print(counter)  # Counter({'apple': 3, 'banana': 2, 'orange': 1})

🗣️ В этом примере Counter подсчитывает количество каждого элемента в списке data. Это полезно для анализа данных, работы с частотами или подсчёта элементов в коллекциях.

🖥 Подробнее тут

⚙️ Physics-based и data-driven моделирование Статья объясняет различия между физически обоснованными моделями и моделями, основанными на данных, с примерами задач машинного обучения. Рассматривается подход к обработке данных, выбору моделей и их обучению. Читать...

🔎 Подборка вакансий для джунов Junior Data Analyst 🟢SQL, Python, BI-инструменты, математическая статистика, A/B-тестирование 🟢от 70 000 ₽ на руки | от 1 до 3 лет Junior AI Engineer 🟢Python 3.x, PyTorch, TensorFlow, Pandas, NumPy, ETL, Reinforcement Learning, ChatGPT API, Английский язык (B2) 🟢от 1 000 до 1 500 $ до вычета налогов | от 1 до 3 лет Python developer Junior+/Middle 🟢Python, Flask, Asyncio, Websockets, RabbitMQ, Docker, PostgreSQL, Clickhouse, Redis, Kafka, Kubernetes, Grafana, Celery, Prometheus 🟢Уровень дохода не указан | от 1 до 3 лет Junior Data Analyst 🟢SQL, Python, Tableau, BI-системы, Английский язык (B1 и выше) 🟢Уровень дохода не указан | от 1 до 3 лет

👩‍💻 Поиск числа с максимальной суммой цифр Напишите функцию, которая принимает список положительных чисел и возвращает число с наибольшей суммой цифр. Если таких чисел несколько, вернуть первое из них. Пример:

numbers = [123, 456, 789, 234]
result = max_digit_sum(numbers)
print(result)
# Ожидаемый результат: 789 (7+8+9=24, это максимальная сумма)

Решение задачи🔽

def max_digit_sum(numbers): def digit_sum(n): return sum(int(digit) for digit in str(n)) return max(numbers, key=digit_sum) # Пример использования: numbers = [123, 456, 789, 234] result = max_digit_sum(numbers) print(result) # Ожидаемый результат: 789