Data Science | Machinelearning [ru]

Стать сотрудником Яндекса быстрее и проще, чем кажется. Участвуйте в днях быстрого найма: решите тестовое, пройдите несколько секций собеседования и получите офер за несколько дней. Ближайшее мероприятие: • 9-11 ноября — для продуктовых и аналитиков данных, офер за 3 дня в команды Финтеха и Яндекс Практикума. Зарегистрироваться

📈 Подборка статей для вашей карьеры • Продуктивность и почему «сделать много всего» — это не про неё • Куда выйти из айти? • Как я боролся с выгоранием в ИТ: лайфхаки и личный опыт • ИТ-пенсионеры и где они обитают • Почему мне нужно, чтобы ты вкатился в айти

🔎 Подборка вакансий для сеньеров Data Scientist (Ranking&Search) 🟢Big data (Hadoop, PySpark, Hive), Python, Catboost, Airflow, Docker, SQL, PyTorch 🟢Уровень дохода не указан | 3–6 лет Senior Data Analyst 🟢SQL, Python, LTV, CPA, RevShare, Tableau 🟢от 3 000 до 3 500 $ | 3–6 лет Senior Data Scientist MLE 🟢ml, Python, Numpy, SciPy, pandas, sklearn, Clickhouse, PostgreSQL 🟢от 250 000 до 400 000 ₽ | 3–6 лет Python developer (Middle\Senior) 🟢Python, Flask, FastAPI, PostgreSQL, ClickHouse, Airflow, Docker, Git 🟢Уровень дохода не указан | 3–6 лет Python-разработчик (middle+,senior) 🟢Python, C++, ML, CI/CD, Docker, SMPL 🟢от 150 000 до 250 000 ₽ | 3–6 лет

👩‍💻 7 малоизвестных возможностей стандартной библиотеки Python Стандартная библиотека Python – это кладезь возможностей. Мы представляем семь недооцененных модулей, которые помогут вам улучшить организацию данных, оптимизировать производительность и упростить распространение ваших программ. Читать...

Яндекс продлил этап Квалификации на международный чемпионат по программированию Yandex Cup 2024 для ML-направления. В этом году участники погрузятся в древние эпохи и попробуют решить задачи цивилизаций прошлого с точки зрения IT. На картинках — примеры ситуаций, с которыми предстоит справиться: настроить систему разгрузки драккаров в порту викингов, помочь композитору в создании алгоритма для написания музыки, придумать систему архивации табличек астрономов династии Хань или помочь роботам пройти лабиринт Майя. Принять участие могут начинающие и опытные разработчики со всего мира. Регистрация на ML-трек доступна до 4 ноября.

🔝 Самые интересные статьи за последние дни: • Как я с помощью нейросетей обогнала инфляцию [4 кейса, скрины, никакой рекламы] • Сравнение роста заработных плат ректората МГТУ им. Н.Э. Баумана и остальных сотрудников • Pydantic 2: Полное руководство для Python-разработчиков — от основ до продвинутых техник • SOLID на котиках • Как переподписка по CPU в облаке снижает производительность Arenadata DB: результаты, которых не ждёшь

👩‍💻 Задачка по Python Создайте Python-приложение, которое загружает датасет, использует модель линейной регрессии для предсказания, и сохраняет метрики модели (MAE, RMSE) в файл metrics.json. Программа должна уметь загружать датасет в формате CSV, обучать модель и выводить результаты. ➡️ Пример: • python app.py train data.csv — обучает модель, выводит метрики и сохраняет в metrics.json. Решение задачи ⬇️

import sys import pandas as pd from sklearn.model_selection import train_test_split from sklearn.linear_model import LinearRegression from sklearn.metrics import mean_absolute_error, mean_squared_error import json def train_model(file_path): # Загружаем данные data = pd.read_csv(file_path) X = data.drop('target', axis=1) y = data['target'] # Разделение на тренировочные и тестовые данные X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # Обучаем модель model = LinearRegression() model.fit(X_train, y_train) # Предсказание y_pred = model.predict(X_test) # Вычисляем метрики mae = mean_absolute_error(y_test, y_pred) rmse = mean_squared_error(y_test, y_pred, squared=False) # Сохраняем метрики metrics = {'MAE': mae, 'RMSE': rmse} with open('metrics.json', 'w') as f: json.dump(metrics, f) print(f"MAE: {mae}, RMSE: {rmse}") if __name__ == "__main__": if len(sys.argv) > 1: train_model(sys.argv[1]) else: print("Укажите путь к CSV-файлу.")

🚀 Оптимизируй свой AI: разоблачение 6 мифов о работе с векторами в Pgvector Шесть заблуждений, которые мешают тебе использовать всю мощь векторных баз данных в AI. Развенчав эти мифы, ты сможешь раскрыть истинный потенциал векторов и значительно повысить эффективность твоих AI-проектов. Читать...

🔎 Подборка вакансий для джунов Junior Python Developer 🟢Python, Linux, SQL, Django 🟢от 50 000 ₽ | Без опыта Data Scientist 🟢Python (OpenCV, NumPy, Pandas, PyTorch), SQL, Triton Inference Server, TensorRT, Docker, Kubernetes, Helm 🟢до 80 000 ₽ | Без опыта ML-инженер (ML Engineer / Data Scientist) 🟢Python, SQL, TensorFlow, PyTorch 🟢Уровень дохода не указан | 1–3 года Data scientist (Junior) 🟢Python, SQL 🟢до 2 000 Br | 1–3 года Data Scientist (Junior) 🟢Python, Numpy, PyTorch, SQL 🟢от 600 $ | Без опыта

❓ Как обработать пропущенные данные? Пропущенные данные — частая проблема в Data Science, особенно в реальных данных. Чтобы правильно обработать такие данные, можно использовать стратегии заполнения пропусков (например, средним значением или медианой) или удалить строки/столбцы с пропусками. ➡️ Пример:

import pandas as pd
import numpy as np

data = {'A': [1, 2, np.nan, 4], 'B': [5, np.nan, 7, 8]}
df = pd.DataFrame(data)

# Заполнение пропусков средним значением
df['A'].fillna(df['A'].mean(), inplace=True)

print(df)

🗣️ Пропущенные данные могут искажать результаты анализа, поэтому их нужно обрабатывать перед моделированием.

👩‍💻 Задачка по Python Создайте Python-приложение, которое принимает набор данных с несколькими признаками и определяет наиболее важные признаки для предсказания целевой переменной с помощью модели RandomForest. Программа должна выводить результаты в виде списка признаков, отсортированных по важности. ➡️ Пример: • python app.py data.csv — выводит важные признаки. Решение задачи ⬇️

import pandas as pd from sklearn.ensemble import RandomForestClassifier from sklearn.model_selection import train_test_split def feature_importance(file): data = pd.read_csv(file) X = data.drop(columns=['target']) y = data['target'] X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2) model = RandomForestClassifier() model.fit(X_train, y_train) importance = pd.Series(model.feature_importances_, index=X.columns).sort_values(ascending=False) print("Важные признаки:\n", importance) if __name__ == "__main__": import sys if len(sys.argv) != 2: print("Использование: python app.py <файл.csv>") else: feature_importance(sys.argv[1])

⚡️ Открыта регистрация на конкурс «Автономный поиск. Софт» Создайте решение для поиска пропавших людей и поборитесь за призовой фонд в 25 миллионов рублей! Когда: загрузить решение для возможности участия в финале необходимо до 8 ноября 23:59 МСК Формат: онлайн Призовой фонд: 25.000.000 рублей 🔥 Этот конкурс для вас, если вы хотите: – прокачать свои навыки в Machine Learning и Computer Vision; – внести вклад в решение важной социальной проблемы; – заявить о себе и найти потенциальных партнёров, заказчиков или инвесторов; – протестировать свои разработки на реальной инфраструктуре. ❗️Участникам предстоит разработать решение для поиска пропавших людей с использованием аэрофотоснимков, сделанных с беспилотных воздушных судов (БВС). 🔹 У вас будет возможность испытать свои решения на реальной инфраструктуре и получить шанс пройти проверку в условиях, близких к реальной поисковой операции! ▶️ Конкурс проводится Фондом НТИ совместно с МФТИ и ЛизаАлерт. 🕰Подать заявку можно до 2 ноября 2024 (23:59 МСК) по ссылке.

🔎 Подборка вакансий Junior Data Engineer 🟢Python (Pandas), SQL (Snowflake, Redshift), Git, CI/CD, Jenkins 🟢Уровень дохода не указан | 1–3 года Junior Full Stack Analyst 🟢Jira, Confluence 🟢Уровень дохода не указан | Без опыта Data Engineer/Стажер-разработчик DWH/ETL/Big Data 🟢DWH, Data Lake, ETL, SQL 🟢Уровень дохода не указан | Без опыта Младший специалист отдела разработки (Python) / Специалист по парсингу данных 🟢Python 3, Django/Celery, PostgreSQL, HTML 🟢Уровень дохода не указан | 1–3 года Junior AI Developer 🟢Python 3, LLM, ChatGPT 🟢от 50 000 до 80 000 ₽ | Без опыта

👩‍💻 Задачка по Python Создайте Python-приложение, которое принимает путь к CSV-файлу с историческими данными о ценах акций (дата, цена закрытия) и предсказывает, будет ли цена акций расти или падать на следующий день, используя простую линейную регрессию. Программа должна выводить прогноз в консоль и сохранять модель в файл model.pkl. ➡️ Пример: • python app.py predict_stock prices.csv — предсказывает изменение цены акций на следующий день. Решение задачи ⬇️

import sys import pandas as pd from sklearn.linear_model import LinearRegression import pickle def predict_stock(file): data = pd.read_csv(file) X = data.index.values.reshape(-1, 1) y = data['Close'].values model = LinearRegression() model.fit(X, y) next_day = [[len(X)]] prediction = model.predict(next_day) with open('model.pkl', 'wb') as f: pickle.dump(model, f) print(f'Прогноз на следующий день: {"Рост" if prediction > y[-1] else "Падение"}') if __name__ == "__main__": if len(sys.argv) != 3 or sys.argv[1] != 'predict_stock': print('Использование: python app.py predict_stock <файл.csv>') else: predict_stock(sys.argv[2])

↗️ Как я с помощью нейросетей обогнала инфляцию В статье рассказывается, как использовать нейросети для оптимизации работы, если ваш доход в рублях, а расходы — в валюте. Спойлер: полное делегирование задач ИИ — миф, но с его помощью можно значительно упростить рутину и повысить продуктивность. Поделены реальные кейсы из жизни автора. Читать...

Яндекс Игры пришли к нам с запросом:

SELECT * 
FROM subscribers 
WHERE channel_name = 'Data Science | Machinelearning [ru]'
AND technical_skills IN ('SQL', 'Airflow', 'MapReduce', 'DataLens') 
AND data_driven_approach = true 
AND analytical_mindset = true 
AND years_of_experience >= 2 
AND fit = true;

Ребята ищут аналитика в свою команду. Яндекс Игры посещают более 40 млн пользователей в месяц, поэтому можно проверять кучу гипотез на крупных выборках и экспериментировать. ВАЖНО. Проверенные гипотезы не пойдут «в стол», а будут помогать команде принимать взвешенные решения и влиять на развитие продукта. Если у тебя есть опыт работы с продуктами, аналитический склад ума и необходимые навыки, — это отличный шанс быстро вырасти и прокачаться на интересных задачах. Описание вакансии здесь, но лучше сразу пишите рекрутеру и договаривайтесь о собеседовании: @danny_md1

🌞 Автоэнкодеры простыми словами Автоэнкодеры являются базовой техникой машинного обучения и искусственного интеллекта, на основе которой строятся более сложные модели, например, в диффузионных моделях, таких как Stable Diffusion. Что же такое автоэнкодер? Читать...

🤖 LLaMator: Red Teaming фреймворк для тестирования уязвимостей LLM В статье команда LLaMaстеры (студенты ИТМО AI Talent Hub) расскажет о создании LLaMator — фреймворка для тестирования уязвимостей интеллектуальных систем на базе больших языковых моделей, который победил на AI Product Hack. Читать...

✔️ От Павлова до ChatGPT: как LLM перевернули наше понимание мышления В этой статье мы отправимся в захватывающее путешествие от классических теорий Павлова до передовых разработок в области ИИ. Мы раскроем тайны человеческого мышления, узнаем, как работают современные языковые модели, и поразмышляем о том, сможет ли искусственный интеллект когда-нибудь по-настоящему "понимать" нас. Читать...

👀 Анализ тональности текста: зачем он нужен и как его использовать? Объясняем за 7 минут Как компании выявляют эмоции в тысячах отзывов и комментариев? Почему одни маркетинговые кампании становятся невероятным успехом, а другие — провалом? Сегодня мы подробно разберем, как анализ тональности работает в реальных кейсах, и покажем, как вы можете внедрить его для достижения своих бизнес-целей. Читать...