Data Science | Machinelearning [ru]

👩‍💻 Задачка по Python Напишите скрипт, который удаляет дублирующиеся строки из CSV-файла на основе указанного столбца и сохраняет результат в новый файл. ➡️ Пример:

python remove_duplicates.py input.csv output.csv column_name
id,name,age
1,John,30
2,Jane,25
4,Bob,35

Решение задачи ⬇️

import pandas as pd import sys if len(sys.argv) < 4: print("Использование: python remove_duplicates.py <input_file> <output_file> <column_name>") sys.exit(1) input_file = sys.argv[1] output_file = sys.argv[2] column_name = sys.argv[3] try: df = pd.read_csv(input_file) df = df.drop_duplicates(subset=[column_name]) df.to_csv(output_file, index=False) print(f"Дубликаты удалены. Результат сохранён в {output_file}") except Exception as e: print(f"Ошибка: {e}")

📉 RL-агент для алгоритмической торговли на Binance Futures: архитектура, бэктест, результаты В статье собираю торгового агента на Dueling Double DQN с приоритетным реплеем. Тестирую на Binance Futures с учётом комиссий и проскальзывания, чтобы PnL выглядел как в реальной торговле. Читать...

🧱 MCP — новый кирпичик в фундаменте AI-разработки Расскажу, как MCP меняет работу IDE: LLM напрямую ходят в базы и сервисы, без костылей и отдельных тулов. Немного истории, сравнение с LSP и разбор, зачем это нужно девелоперам. Читать...

Мультитрек для опытных бэкенд-разработчиков Ищем бэкенд-разработчиков с 5+ годами опыта на C++, Java/Kotlin, Go или Python в команды Яндекса. Здесь мы вместе строим технологии, которые меняют мир. Создаём продукты на основе ИИ и машинного обучения, формируем сильную инженерную культуру, внедряем научный подход. Специально для соискателей мы разработали Мультитрек — программу, где можно попробовать задачи на практике перед тем, как выбрать команду и проект. Как всё устроено: до 18 августа оставляете заявку, 23 августа решаете задачи для разработчиков на технических секциях, 24 августа завершаете собеседование и получаете офер. Дальше вы сможете попробовать себя в трёх командах: поработать в каждой по 3–4 недели, изучить процессы, познакомиться с коллегами и выбрать лучший для себя проект. Узнать больше #реклама 16+ yandex.ru О рекламодателе

🔍 Как трансформеры меняют область NLP и что стоит за LLM? На открытом уроке «Трансформеры как основа современного NLP» 12 августа в 18:00 МСК мы разберём, как архитектура трансформеров революционизирует обработку естественного языка. Вы познакомитесь с принципами работы трансформерных моделей и их применением в современных технологиях. Это откроет вам доступ к самым актуальным методам NLP и поможет стать востребованным специалистом в Data Science. 🚀 Регистрируйтесь и получите скидку на курс «NLP / Natural Language Processing»: https://vk.cc/cOihwd Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru

👀 Отечественные Open Source-инструменты для ИИ-разработки Покажу, как Open Source меняет ИИ: от библиотек и моделей до датасетов. Разберём, как открытый код помогает строить, обучать и тестировать системы без барьеров и закрытых лицензий. Читать...

⚙️ Что такое PCA (Principal Component Analysis) в машинном обучении и зачем он используется? PCA — это метод снижения размерности, который преобразует исходные переменные в новый набор переменных (компонент), сохраняя как можно больше информации. Он помогает ускорить обучение моделей и уменьшить переобучение. ➡️ Пример:

import numpy as np
from sklearn.decomposition import PCA
from sklearn.datasets import load_iris

# Загрузка данных
data = load_iris()
X = data.data

# Применение PCA для снижения размерности до 2 компонент
pca = PCA(n_components=2)
X_pca = pca.fit_transform(X)

print(X_pca[:5])  # Преобразованные данные

🗣️ В этом примере PCA снижает размерность данных Iris с 4 до 2 компонент. Это позволяет визуализировать данные и ускорить работу моделей, сохраняя основную информацию.

🖥 Подробнее тут

🔧 ТОП-10 опенсорсных инструментов для работы с ИИ в 2025 году Детальный разбор 10 самых перспективных инструментов для работы с ИИ в 2025 году. От создания умных ассистентов до построения мощных RAG-систем — разбираем возможности, сравниваем производительность, безопасность и простоту интеграции каждого решения. Читать...

👩‍💻 Задачка по Python Напишите функцию, которая принимает список email-адресов и возвращает уникальные домены из этого списка. Домен — это часть адреса после символа @. ➡️ Пример:

["user1@example.com", "user2@test.com", "user3@example.com", "user4@sample.com"]

#{"example.com", "test.com", "sample.com"}

Решение задачи ⬇️

def get_unique_domains(emails): domains = {email.split('@')[1] for email in emails} return domains # Пример использования: emails = ["user1@example.com", "user2@test.com", "user3@example.com", "user4@sample.com"] result = get_unique_domains(emails) print(result) # Ожидаемый результат: {'example.com', 'test.com', 'sample.com'}

👨‍💻Хранилища данных. Обзор технологий и подходов к проектированию В этой статье будут рассмотрены основные подходы к проектированию архитектуры хранилищ данных (DWH), эволюция архитектур, взаимосвязь Data Lake, Data Factory, Data Lakehouse, Data Mesh c DWH, преимущества и недостатки подходов к моделированию данных. Читать...

🔥 Самые интересные статьи за последние дни: • KAN: Kolmogorov–Arnold Networks • Стандартное отклонение для полных чайников • Почему галлюцинируют нейросети [и что с этим делают] • Понимает ли Vision Llama импрессионистов? • Что ищет он в краю далёком? Как найти смысл жизни с PostgreSQL

👩‍💻 Генератор случайных паролей с настройками Напишите функцию, которая генерирует случайный пароль заданной длины. Пароль должен быть сформирован на основе пользовательских требований: • Использовать ли цифры. • Использовать ли буквы верхнего и/или нижнего регистра. • Использовать ли специальные символы. ➡️ Пример:

password = generate_password(length=12, use_digits=True, use_uppercase=True, use_lowercase=True, use_specials=False)
print(password)
# Пример вывода: A1b2C3d4E5f6

Решение задачи🔽

import random import string def generate_password(length, use_digits=True, use_uppercase=True, use_lowercase=True, use_specials=True): if length < 1: raise ValueError("Длина пароля должна быть больше 0") # Формируем набор символов character_pool = "" if use_digits: character_pool += string.digits if use_uppercase: character_pool += string.ascii_uppercase if use_lowercase: character_pool += string.ascii_lowercase if use_specials: character_pool += "!@#$%^&*()-_=+[]{}|;:,.<>?/" if not character_pool: raise ValueError("Нужно выбрать хотя бы один тип символов") # Генерация пароля return ''.join(random.choice(character_pool) for _ in range(length)) # Пример использования password = generate_password(length=12, use_digits=True, use_uppercase=True, use_lowercase=True, use_specials=True) print(password)

💎Кратко про Ensemble методы с примерами В этой статье мы рассмотрим три основных подхода: Bagging, Boosting и Stacking, и посмотрим, как их реализовать на Python. Читать...

➡️ Будущее LLM в XS, S, M и других размерах В статье обсуждаются подходы к обучению ИИ оптимально использовать свои ресурсы: от минимальной мощности для простых задач до максимума для сложных. Разбираем концепции «я не знаю» и запросов помощи. Читать...

⚡️ Ошибки должны быть громкими Тихие ошибки — это как протечка трубы: они долго не видны, пока не станет плохо. 👉 Совет: логируй и сигнализируй о любых неожиданных ситуациях. Лучше пусть код упадёт с понятным сообщением в деве, чем тихо сломает данные в проде.

🤔 Будущее LLM: 7 прогнозов на 2025 год Что нового ждёт языковые модели в 2025 году? Обсудим прогнозы: расширение возможностей ИИ, их внедрение в бизнес и жизнь. Узнайте, чего ожидать и почему Джарвис пока останется мечтой. Читать...

✔️ Системы ценностей больших языковых моделей Разбираю, как LLM умудряются обзавестись политикой, любимыми расами и списками «жертв». От первых восторгов до шока прошло меньше двух лет — теперь копаем, что внутри. Читать...

⚙️ Что такое @staticmethod и @classmethod в Python, и чем они отличаются? Декораторы @staticmethod и @classmethod используются для создания методов, которые не требуют экземпляра класса. @staticmethod — это метод, который не зависит от экземпляра или самого класса, а @classmethod получает доступ к самому классу через первый параметр cls. ➡️ Пример:

class MyClass:
    @staticmethod
    def static_method():
        return "Это статический метод"

    @classmethod
    def class_method(cls):
        return f"Это метод класса {cls.__name__}"

# Использование
print(MyClass.static_method())  # Это статический метод
print(MyClass.class_method())   # Это метод класса MyClass

🗣️ В этом примере static_method ничего не знает о классе, в то время как class_method может взаимодействовать с классом, к которому он принадлежит. Используйте их в зависимости от того, нужно ли вам взаимодействие с классом.

🖥 Подробнее тут

⚙️ Как устроена Лаборатория Инноваций СИБУРа и зачем она нужна Как применять ИИ и цифровизацию в гигантской промышленной компании с десятками заводов? Узнайте, как СИБУР реализует более 30 успешных кейсов и работает с сотнями гипотез в Лаборатории ИИ. Читать...

📈 Подборка статей для вашей карьеры • В какой момент профессия программиста свернула не туда? • Офис Intel в Израиле отменил бесплатный кофе • Войти в IT – в 37 и с дипломом филфака • Путь к мастерству: Как стать успешным разработчиком • Галера от HH или джуны по-дешевке