Data Science | Machinelearning [ru]

🔎 Подборка валютных вакансий Разработчик операций AI, Python/React 🟢Python, React, PostgreSQL, Aiogram, GPT 🟢от 800 до 1 300 USD (до вычета налогов) | 1–3 года Senior Software Engineer (Python) 🟢Python, FastAPI, TypeScript, Node.js, React, MongoDB, PostgreSQL, RabbitMQ, Kafka, Redis, Docker, Kubernetes, AWS, Google Cloud 🟢от 2 500 до 3 500 USD (до вычета налогов) | 3–6 лет Middle Backend Developer (Python) 🟢Python, FastAPI, Tornado, PostgreSQL, SQLAlchemy, Redis, RabbitMQ, Docker, nginx, gitlab-ci 🟢от 2 000 до 3 300 USD (до вычета налогов) | 3–6 лет Senior Backend Developer - Python 🟢Python, PostgreSQL, Redis, FastAPI, Flask, Pyramid, SQLAlchemy, Celery, pydantic, AWS 🟢от 4 000 USD на руки | 3–6 лет Python Fullstack Developer 🟢Python 3, FastAPI, Redis, SQL (MySQL, MariaDB), Docker, Grafana, PHP, TypeScript, React 🟢до 3 000 USD на руки | 1–3 года

💭 Скорость — не главный показатель успеха. Гораздо важнее — чёткое понимание, куда ты идёшь. Многие тратят кучу энергии, чтобы везде поспеть: освоить новое, прокачать скиллы, закрыть дедлайны. Но часто за спешкой скрывается отсутствие направления. И пока ты гонишься за всем сразу, фокус на том, что действительно важно, ускользает. 🎯 Что делать: раз в месяц выдели время на анализ — какие задачи реально приближают тебя к целям, а какие тянут энергию впустую? Подумай, что можно делегировать, что автоматизировать, а от чего отказаться. Сосредоточься на главном, и почувствуешь, что каждое действие наконец работает на твой рост.

✔️ Простой и быстрый тест LLM для прототипа: сравниваем 16 open-source-моделей на запросе с разной температурой В статье рассказывается, как быстро протестировать 16 LLM для создания текстовых прототипов, даже если вы не в теме ML. Берём несколько моделей, сравниваем результаты, оцениваем, подходит ли под задачу. Читать...

🔎 Подборка вакансий для лидов Team Lead backend/Python (remote) 🟢Python (синхронный и асинхронный), Pyramid, AIOHttp, SQLAlchemy, Redis, Docker, Pytest, Alembic, PostgreSQL, Vue.js 🟢Уровень дохода не указан | Опыт от 3 лет Python Team Lead 🟢Python, Django Rest Framework, SQL, NoSQL, Celery, Docker, RabbitMQ, управление командой 🟢от 250 000 ₽ | Опыт 3–6 лет Python-разработчик Machine Learning / Computer Vision 🟢Python, TensorFlow, PyTorch, Keras, Scikit-learn, Pandas, AWS, SQL (PostgreSQL), Apache Spark, Apache Kafka, Apache Airflow 🟢от 400 000 ₽ | Опыт 3–6 лет Senior/Lead Backend Developer (Python) 🟢Python3, Asyncio, SQL, PostgreSQL, FastAPI, Redis, Docker, Temporal, RabbitMQ, Linux, Elasticsearch 🟢до 450 000 ₽ | Опыт 3–6 лет Tech Lead (python) 🟢Python 3.11, MySQL, Clickhouse, Redis, Aiogram, Aiohttp, Docker-compose, Nginx, GitHub 🟢от 250 000 ₽ | Опыт более 6 лет

👩‍💻 Как работает __name__ == "__main__" в Python? Конструкция if __name__ == "__main__" определяет, выполняется ли скрипт как основная программа или импортируется в качестве модуля. Это позволяет запускать код только при непосредственном запуске скрипта, исключая его выполнение при импорте. ➡️ Пример:

def greet():
    print("Hello from greet!")

if __name__ == "__main__":
    greet()  # Этот вызов выполнится только при запуске скрипта напрямую

🗣 В этом примере greet() будет вызвана, если файл запускается напрямую. Если скрипт импортируется как модуль, greet() не вызовется, сохраняя модульную структуру кода.

🖥 Подробнее тут

➡️ ИИ в логистике: отслеживаем транспортные средства на производственной территории с помощью нейросети В статье описан путь от пет-проекта до системы для трекинга транспорта: нейросети, компьютерное зрение и инструменты, позволяющие «видеть» и анализировать производственные процессы. Читать...

📈 Подборка статей для вашей карьеры • В какой момент профессия программиста свернула не туда? • Офис Intel в Израиле отменил бесплатный кофе • Войти в IT – в 37 и с дипломом филфака • Путь к мастерству: Как стать успешным разработчиком • Галера от HH или джуны по-дешевке

Яндекс в шестой раз вручил научную премию в области машинного обучения Yandex ML Prize. Ее получили 14 ученых, которые представили перспективные работы в области генеративных моделей, обработки естественного языка, компьютерного зрения, информационного поиска и когнитивной робототехники. Сегодня я хотел бы рассказать вам о паре наиболее интересных на мой взгляд работ, чьи авторы были удостоены премии. Так, команда под руководством Артёма Лыкова из Сколтеха создала универсальную когнитивную систему для различных типов роботов и представила робота-собаку, которая понимает человеческую речь. Эти разработки могут стать основой для технологии «роя умных роботов», способных автономно выполнять задачи в строительстве, геологоразведке и астрономии. Исследования еще одного лауреата, Алексея Скрынника из AIRI, касаются обучаемых децентрализованных решений, что улучшит подходы к многоагентной навигации, включая складскую логистику. Он фокусируется на обеспечении эффективного взаимодействия между агентами (роботами и техникой), что повышает гибкость и автономность их работы. Помимо самой премии, лауреаты получат доступ к Яндекс 360 и грант на использование Yandex Cloud, что поможет им проводить объёмные вычисления и анализировать данные.

🔎 Подборка вакансий для сеньоров Senior Python Developer (Highload, Crypto) 🟢Python 3.10-3.12, FastAPI, PostgreSQL, Redis, MongoDB, Pydantic, SQLAlchemy, Alembic 🟢до 500 000 ₽ | более 6 лет Python Developer (Senior) 🟢Python, asyncio, aiohttp, FastAPI, PostgreSQL, Redis, Cassandra, Kafka, RabbitMQ, ElasticSearch, ClickHouse 🟢от 360 000 до 480 000 ₽ | 3–6 лет Senior Python-разработчик 🟢Python, FastAPI, RabbitMQ, Kubernetes, PostgreSQL, asyncio, Alembic, Docker, SQLAlchemy, Git, CI/CD, S3, Airflow 🟢до 500 000 ₽ | более 6 лет Senior Machine Learning Engineer (Computer Vision) 🟢Python, PyTorch, OpenCV, Scikit-Image, FFmpeg 🟢от 600 000 ₽ | 3–6 лет Senior/Middle Data Scientist 🟢Python, SQL, классический ML, anti-fraud системы 🟢Уровень дохода не указан | 3–6 лет

👀 Распознавание ж/д пикетных столбиков по фотографиям с беспилотника на основе PyTorch и YOLOv5 Статья раскрывает процесс использования БПЛА и нейросетей для точного распознавания объектов на ортофотопланах. Описаны этапы подготовки данных, разметки и обучения сети на примере поиска пикетных столбиков на ж/д перегонах. Исходный код доступен на GitHub. Читать...

🐘 Открытый урок для начинающих и опытных разработчиков баз данных, системных администраторов и аналитиков Тема: DML: вставка, обновление, удаление, выборка данных в PostgreSQL. Управление данными в PostgreSQL. Рассмотрим: - Операции вставки, обновления и удаления данных с использованием SQL-запросов. - Эффективные методы работы с выборками данных и сложными подзапросами. - Как обеспечить целостность данных при изменениях в базе. Спикер Анастасия Чекушина — опытный разработчик и преподаватель, .net developer + lead. Встречаемся 31 октября в 20:00 мск. Всем участникам дадим скидку на основной курс. 👉 Регистрируйтесь прямо сейчас, чтобы не пропустить бесплатный урок: https://otus.pw/D5Lj/ Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru

🔥 Самые интересные статьи за последние дни: • Всё, что вы хотели знать о Django Channels • Сборка Python проекта с uv и Docker • DE-1. DIY ассистент на LLM • Ваши генераторные выражения сломаны: чиним и разбираемся • Всё, что вы хотели знать о Django Channels

Чтобы расти в профессии и брать на себя новые роли, нужно не бояться пробовать новое. Например, новое обучение. Если попробовать курс бесплатно, можно проверить, подходит ли он вам. Тогда пробовать новое уже не так страшно. Практикум собрал большую экспертизу Яндекса: на курсах вы освоите новые скилы на практике, получите обратную связь от опытной команды и пополните ваше портфолио. Вот несколько наших курсов: ✅ Мидл Python-разработчик ✅ Мидл Java-разработчик ✅ Мидл Android-разработчик ✅ Мидл фронтенд-разработчик Получите скидку 20% после прохождения первой темы любого курса. Она бесплатная 🔥

👩‍💻 Задачка по Python Создайте Python-скрипт, который читает большой CSV-файл построчно, фильтрует строки по заданному критерию и подсчитывает агрегированные данные на основе указанного столбца. Скрипт должен эффективно обрабатывать файл, используя потоковое чтение (без загрузки файла целиком в память) и выводить итоговую статистику в консоль. ➡️ Пример: • python process_data.py data.csv age 30 — фильтрует строки, где значение в столбце age больше 30, и подсчитывает общее количество таких записей и среднее значение в другом числовом столбце, например, salary. Решение задачи ⬇️

import csv import sys def process_large_csv(file_path, filter_column, threshold, aggregate_column): count = 0 total_sum = 0.0 with open(file_path, 'r', encoding='utf-8') as file: reader = csv.DictReader(file) for row in reader: # Преобразование значений для фильтрации и агрегации try: filter_value = float(row[filter_column]) aggregate_value = float(row[aggregate_column]) except ValueError: continue # Пропускаем строки с некорректными данными # Фильтрация строк по заданному условию if filter_value > threshold: count += 1 total_sum += aggregate_value # Вывод итоговой статистики if count > 0: average = total_sum / count print(f"Обработано записей: {count}") print(f"Среднее значение {aggregate_column} для записей, где {filter_column} > {threshold}: {average:.2f}") else: print("Записи, соответствующие условиям фильтрации, не найдены.") if __name__ == "__main__": if len(sys.argv) < 5: print("Использование: python process_data.py <file_path> <filter_column> <threshold> <aggregate_column>") sys.exit(1) file_path = sys.argv[1] filter_column = sys.argv[2] threshold = float(sys.argv[3]) aggregate_column = sys.argv[4] process_large_csv(file_path, filter_column, threshold, aggregate_column)

⚙️ Под микроскопом: AI Product Hack Статья анализирует результаты AI Product Hack, рассматривая спорное судейство и кейс компании Raft по мониторингу токсичного контента в AI-продуктах. Исследуются риски и последствия неконтролируемого поведения LLM в реальных проектах. Читать...

Avito ML Cup — это соревнование для ML-инженеров и специалистов в области Data Science, где предстоит создать модель для рекомендаций на основе полусинтетических данных. 🚀Старт: 5 ноября 🔥Призовой фонд: 600 000 рублей. Участвовать можно как индивидуально, так и в команде до 4 человек. Предлагаемые решения проверяются автоматически по метрике ROC-AUC, а результат будет виден в лидерборде. Регистрация уже началась, не пропустите возможность! Подробности ➡️ по ссылке.

🔎 Подборка вакансий для мидлов Разработчик Python (Middle) 🟢Python, Django, Django Rest Framework, Git, MongoDB, Linux 🟢от 90 000 до 150 000 ₽ | 1–3 года Middle Python Developer 🟢Python, FastAPI, SQLAlchemy, PostgreSQL, MongoDB, Redis, Docker, GNU/Linux 🟢от 120 000 до 180 000 ₽ | 3–6 лета Middle Python разработчик 🟢Python, aiohttp, FastAPI, PostgreSQL, MongoDB, RabbitMQ, Kafka, NumPy, OpenCV 🟢от 140 000 до 240 000 ₽ до вычета налогов | 3–6 лет Data Engineer/Дата инженер (ученик) 🟢Python, SQL, Big Data, MLflow, NoSQL, machine learning, Hadoop, Apache Spark, Scala, Apache Kafka 🟢от 100 000 до 110 000 ₽ | Без опыта Data Engineer / Дата-инженер 🟢Python, PySpark, SQL, Azure (ADF, SQL DB), Databricks, Power BI, Azure DevOps 🟢от 190 000 ₽ до вычета налогов | 1–3 года

Яндекс продлил этап Квалификации на международный чемпионат по программированию Yandex Cup 2024 для ML-направления. В этом году участники погрузятся в древние эпохи и попробуют решить задачи цивилизаций прошлого с точки зрения IT. На картинках — примеры ситуаций, с которыми предстоит справиться: настроить систему разгрузки драккаров в порту викингов, помочь композитору в создании алгоритма для написания музыки, придумать систему архивации табличек астрономов династии Хань или помочь роботам пройти лабиринт Майя. Принять участие могут начинающие и опытные разработчики со всего мира. Регистрация на ML-трек доступна до 4 ноября.

❓ Как работает метод feature_importances_ в Python и зачем он нужен в Machine Learning? Метод feature_importances_ — это атрибут некоторых моделей машинного обучения в библиотеке scikit-learn, который позволяет определить, какие признаки (фичи) наиболее влияют на предсказания модели. Этот метод возвращает значение важности для каждого признака, показывая, как сильно он влияет на конечный результат. Его использование особенно полезно для деревьев решений и ансамблевых моделей, таких как RandomForest и GradientBoosting. ➡️ В примере ниже мы используем RandomForest для анализа важности признаков и визуализации результатов.

from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_iris
import pandas as pd

# Загрузка данных
data = load_iris()
X, y = data.data, data.target

# Создание и обучение модели
model = RandomForestClassifier()
model.fit(X, y)

# Получение и визуализация важности признаков
feature_importances = pd.Series(model.feature_importances_, index=data.feature_names)
feature_importances.sort_values(ascending=False).plot(kind='bar')

🗣 Использование feature_importances_ помогает определить, какие признаки стоит использовать, исключить малозначимые фичи и сделать модель более интерпретируемой.

🖥 Подробнее тут

🤔 Насколько хороши LLM? Статья описывает создание и адаптацию бенчмарка для оценки русскоязычных LLM в российском контексте. Основное внимание уделено подбору вопросов, актуализации содержания и корректировке оценок для соответствия современным общественным реалиям. Читать...