Data Science | Machinelearning [ru]

🎁 Динамическая адаптация награды с помощью Pydantic Статья рассказывает, как Pydantic помогает бизнесу гибко управлять наградами для пользователей. Описаны преимущества Pydantic в валидации и преобразовании данных по сравнению с dataclass. Читать...

Погружаемся в ML вместе на Data Dojo! Собираемся уже 17 декабря, чтобы послушать три доклада от спикеров из разных сервисов Яндекса: 🔸 Илья Дьяков из команды Автономного транспорта разберёт задачку с Yandex ML Cup. Она связана с симуляторами, которые предсказывают дорожное движение и тестируют ML-модели до того, как они попадут в настоящие автомобили. 🔸 Артемий Вешкин из Яндекс Музыки тоже рассмотрит один из этапов Yandex ML Cup. И расскажет, как разработать решение, которое будет отличать кавер-версии от оригиналов песен. 🔸 Николай Карпачёв из команды Переводчика расскажет, как ребята поучаствовали в соревновании по качеству перевода на WMT24. В главном треке ребята попали в топ-5! 📅 Зарегистрироваться и узнать подробности можно тут. Ждём вас! Реклама. ООО "Яндекс", ИНН 7736207543.

⚙️ ML в промышленности: как построить систему управления процессом окомкования железорудных окатышей Статья расскажет, как машинное обучение помогает улучшить процесс производства железорудных окатышей, снизив зависимость от человеческого фактора, и о примерах, когда технологии сталкиваются с реальными проблемами. Читать...

👩‍💻 Поиск наиболее часто встречающегося слова в тексте Напишите функцию, которая принимает текстовую строку и возвращает наиболее часто встречающееся слово и количество его вхождений. Игнорируйте регистр и знаки препинания. Пример:

text = "Python is great, and Python is fun! Learning Python is rewarding."
result = most_common_word(text)
print(result)
# Ожидаемый результат: ('python', 3)

Решение задачи🔽

import re from collections import Counter def most_common_word(text): words = re.findall(r'\b\w+\b', text.lower()) counter = Counter(words) return counter.most_common(1)[0] # Пример использования: text = "Python is great, and Python is fun! Learning Python is rewarding." result = most_common_word(text) print(result)

👀 Sora от OpenAI: принцип работы, примеры видео и сравнение с Runway Компания OpenAI представила свою ИИ-модель для генерации видео — Sora. В статье обсуждаются ожидания, доступность и сравнительный анализ с конкурентами, такими как Kling AI и Runway Gen-3. Читать...

🎙️Алгоритмы и авторы: как это работает Слушал подкаст «Сквозь VK», где Андрей Зимовнов, ML-директор VK AI, озвучил интересную вещь. Улучшение алгоритмов рекомендаций в первую очередь замечают авторы: кто-то сразу выигрывает, а для кого-то это становится сигналом, что пора менять подход. Алгоритмы помогают авторам понять, куда двигаться дальше. Но это всегда диалог: авторы дают фидбэк, а платформа настраивает инструменты, чтобы поддерживать и развивать экосистему. Если интересно, то выпуск тут.

📝 Подборка вакансий для мидлов Data-аналитик 🟢SQL, базы данных, аналитика данных 🟢от 200 000 до 300 000 ₽ | от 2 лет Data Analyst (Middle) 🟢SQL, MySQL, Python, базы данных, алгоритмы и структуры данных, Tableau, анализ данных, PowerBI, визуализация 🟢от 200 000 до 250 000 ₽ | от 3 лет Data Scientist (Скоринг/моделирование) 🟢Python, SQL, Hadoop, машинное обучение 🟢Уровень дохода не указан | от 1 года Data Scientist (модели PD) 🟢SQL, Python, машинное обучение 🟢Уровень дохода не указан | от 1 года

⚙️ Что такое модуль shutil в Python и зачем он используется? Модуль shutil предоставляет функции для работы с файлами и директориями, такие как копирование, перемещение и удаление. Он полезен для автоматизации задач управления файлами. ➡️ Пример:

import shutil

# Копирование файла
shutil.copy('source.txt', 'destination.txt')

# Перемещение файла
shutil.move('destination.txt', 'folder/destination.txt')

🗣️ В этом примере shutil.copy копирует файл, а shutil.move перемещает его в другую директорию. Это облегчает выполнение операций с файлами и папками.

🖥 Подробнее тут

⚙️ Машинное обучение: Логистическая регрессия. Теория и реализация. С нуля В этой статье я привел базовые сведения о логистической регрессии и показал как сделать модель с нуля на чистом Python. Логистическая функция, обучение, метрики качества для модели классификации, реализация и небольшой разбор обучения весов. Читать...

⚡XMAS HACK к нам мчится!  С 20 по 23 декабря под звон Jingle bells пройдет самый яркий и праздничный хакатон 2024 года - XMAS HACK.  🎁Дед Мороз и Снегурочка уже положили под елочку XMAS HACK особый подарок - 1 000 000 рублей!  ✨Уникальный кейс от Blanc Labs: Cтартовый (профилактический) комплаенс: предотвращение рисков с помощью AI 👨‍💻Задача: Создать систему, которая на основе предоставленных данных о текущих клиентах банка, а также дополнительной информации из открытых источников, социальных сетей, сайтов и других параметров о компании, способна прогнозировать уровень риска нового клиента. 🚀Осталось собрать команду и до 19 декабря подать заявку на участие: https://tglink.io/6581fe7f7091?erid=LjN8KQEL3 🎅XMAS HACK к нам мчится, скоро все случится!🌟 #реклама О рекламодателе

🔎 Подборка вакансий для джунов Data Scientist в области языковых моделей (Junior) 🟢Python, pandas, numpy, matplotlib, обработка текстовых данных, машинное обучение, языковые модели (LLM), библиотека Hugging Face 🟢от 190 000 ₽ до вычета налогов | 1–3 года Data-аналитик в области временных рядов (Junior) 🟢Python, pandas, numpy, scipy, matplotlib, seaborn, анализ временных рядов, SQL 🟢от 190 000 ₽ до вычета налогов | 1–3 года Junior Data Engineer 🟢SQL, MS Excel, Access, ETL, OLAP, английский язык 🟢Уровень дохода не указан | 1–3 года Junior Data Analyst 🟢SQL, MS SQL Server, PostgreSQL, Python, Git, статистический анализ, A/B тестирование, машинное обучение 🟢Уровень дохода не указан | 1–3 года

👩‍💻 Заполнение пропущенных значений медианой в числовых столбцах Напишите функцию, которая принимает pandas.DataFrame и возвращает новый DataFrame, где все пропущенные значения (NaN) в числовых столбцах заменены на медиану соответствующего столбца. Пример:

import pandas as pd

data = pd.DataFrame({
    'age': [25, 30, None, 45, 50],
    'salary': [50000, 60000, 55000, None, 65000],
    'city': ['NY', 'LA', 'NY', 'SF', 'LA']
})

cleaned_data = fill_missing_with_median(data)
print(cleaned_data)

     age    salary city
0   25.0  50000.0   NY
1   30.0  60000.0   LA
2   37.5  55000.0   NY
3   45.0  57500.0   SF
4   50.0  65000.0   LA

Решение задачи🔽

import pandas as pd def fill_missing_with_median(df): df_filled = df.copy() for col in df_filled.select_dtypes(include='number').columns: median = df_filled[col].median() df_filled[col].fillna(median, inplace=True) return df_filled # Пример использования: data = pd.DataFrame({ 'age': [25, 30, None, 45, 50], 'salary': [50000, 60000, 55000, None, 65000], 'city': ['NY', 'LA', 'NY', 'SF', 'LA'] }) cleaned_data = fill_missing_with_median(data) print(cleaned_data)

⚙️ Как я взломал одну из самых топовых нейросетей (Claude 3.5 Sonnet) для студенческой научной статьи Статья раскрывает исследование по снятию защиты в современной языковой модели ИИ. Описан процесс автоматизации взлома модели и представлена программа, демонстрирующая успешный обход встроенных механизмов безопасности. Читать...

Салют от команды GigaChat! Приглашаем на конференцию по технологиям ИИ 📆 17 декабря, 12:30 (МСК, GMT+3) 📍 Офлайн в Москве. Для посещения в офлайне нужно дождаться приглашения от организаторов. 🌐 Онлайн-трансляция на сайте SberDevices В программе — 9 докладов о том, как ИИ учится говорить, слышать, фильтровать данные и помогать людям. Спикеры расскажут про создание ИИ-агентов и персонажей, эмбеддинги и навыки моделей. Поделятся способами фильтровать данные и быстро обучать мощные модели. Вас ждут новости разработки GigaChat и ассистента Салют, а также расскажут про open-source модели. Участвуйте в дискуссиях с другими участниками и задавайте вопросы спикерам во время докладов. А офлайн-участников ждут афтерпати и стенды с технологиями: можно будет протестировать GigaChain и технологии GigaChat Audio, а также поработать с гипотезами в GigaPlayground. Для участия нужно зарегистрироваться на сайте. Больше подробностей — в Telegram-канале конференции. Реклама. ПАО Сбербанк. ИНН 7707083893

🔥 Самые интересные статьи за последние дни: • Построение базы знаний компании и поиска документов на LLM и RAG • Что побуждает LLM врать и как этого избежать в своих продуктах • Ломаем капчу 4Chan • На чём учатся современные модели машинного перевода: опыт команды Яндекс Переводчика • Gemini вырывается вперед, Китай спамит моделями, в Minecraft запустили AI-агентов: главные события ноября в сфере ИИ

👩‍💻 Удаление выбросов из набора данных Напишите функцию, которая принимает pandas.DataFrame и название столбца, а затем возвращает новый DataFrame, в котором выбросы (значения, выходящие за пределы 1.5 межквартильного размаха) удалены. Пример:

import pandas as pd

data = pd.DataFrame({
    "values": [10, 12, 15, 100, 14, 13, 11, 102, 16]
})

cleaned_data = remove_outliers(data, "values")
print(cleaned_data)
# Ожидаемый результат:
#    values
# 0      10
# 1      12
# 2      15
# 4      14
# 5      13
# 6      11
# 8      16

Решение задачи🔽

import pandas as pd def remove_outliers(df, column): Q1 = df[column].quantile(0.25) Q3 = df[column].quantile(0.75) IQR = Q3 - Q1 lower_bound = Q1 - 1.5 * IQR upper_bound = Q3 + 1.5 * IQR return df[(df[column] >= lower_bound) & (df[column] <= upper_bound)] # Пример использования: data = pd.DataFrame({ "values": [10, 12, 15, 100, 14, 13, 11, 102, 16] }) cleaned_data = remove_outliers(data, "values") print(cleaned_data)

💬 Голосовая аутентификация через GPT Статья исследует возможность аутентификации пользователей GPT-чата во внешних приложениях. Рассматривается голосовое взаимодействие и альтернативный способ аутентификации через пароли вместо OAuth 2.0. Читать...

🧠 Тренируй «мышцы контекстного переключения» Работаешь сразу над несколькими проектами, но каждый раз, переключаясь между задачами, чувствуешь, что теряешь поток? Это проблема многих. 👉 Совет: прежде чем сменить задачу, потрать пару минут на запись текущего состояния. Напиши кратко: что ты сделал, что осталось, какие идеи у тебя есть. Когда вернёшься, тебе не придётся вспоминать всё с нуля — это экономит тонны времени и нервов.

⚙️ Пишем сервис инференса ML-модели на go, на примере BERT-а Статья объясняет, как внедрить ML-модель, обученную на Python, в сервис на Go, используя ONNX. Рассматривается пример работы с моделью seara/rubert-tiny2-russian-sentiment для анализа сентимента текста. Читать...

📝 Подборка вакансий для лидов Team Lead IT отдела • Python, Django, FastAPI, Celery, PostgreSQL, Redis, JavaScript, Blazor wasm, ASP.NET, IdentityServer, Kafka, RabbitMQ • от 150 000 ₽ | от 3 лет ML Engineer • Python, TensorFlow, PyTorch, Keras, SQL, Pandas, Jupyter Notebook, OpenAI GPT, LLaMA, Whisper, Google TTS, Amazon Polly, WebRTC, Zoom API, Google Calendar API, iCalendar, REST, GraphQL, MLOps, MLflow, DVC • от 1 000 до 2 000 $ | от 3 лет Архитектор Решений / Solution Architect • Greenplum, Apache Spark, Apache Airflow, DWH, ETL, SQL, Python, Teradata, Hadoop, Apache NiFi, S3, Apache Spark Streaming • Уровень дохода не указан | от 3 лет