Data Science | Machinelearning [ru]

🌌 Делай мини-проекты из собственных болей Бесит, что каждый день ищешь одну и ту же команду в истории? Или вручную обрезаешь скриншоты? Это подсказки. 👉 Совет: собирай такие мелкие «боли» и превращай их в свои pet-проекты или утилиты. Это не только помогает себе, но и тренирует навык быстрого решения задач и проектирования под реальную жизнь.

⚙️ Архитектура проекта автоматического обучения ML-моделей В статье ребята из Ингосстраха делятся, как автоматизировали запуск и внедрение моделей, чтобы быстрее закрывать запросы бизнеса, не утонув в бэклоге. Читать...

Бесплатный вебинар по Deep Learning и Сomputer Vision 4 сентября в 19:00 участвуйте в бесплатном вебинаре от karpov courses "Первые шаги в Deep Learning и Сomputer Vision: учим модель распознавать героев аниме". Преподаватель курса «Инженер глубокого обучения» Анастасия Белозерова пошагово расскажет, как создать модель классификации, и покажет реальные примеры задач, которые можно решить с помощью нейросетей. За 1 час вебинара вы узнаете: - Что такое Deep Learning и Computer Vision и как они работают - Поймете, как научить модель распознавать героев аниме (на примере аниме «Наруто») - Как начать карьеру в сфере глубокого обучения - Как работают нейронные сети и как их обучать Участников вебинара ждут подарки. Регистрируйтесь - будет интересно! Зарегистрироваться #реклама 16+ karpov.courses О рекламодателе

⚙️ Как я сделала свой первый AI-продукт с ChatGPT и капелькой любви В этой статье я расскажу о моем опыте самостоятельного изучения основ Python и Machine Learning и создании первого проекта OneLove на базе собственной модели искусственного интеллекта (ИИ). Читать...

⚙️ Что такое StandardScaler из scikit-learn и зачем он нужен? StandardScaler — это инструмент из библиотеки scikit-learn, который стандартизирует данные: приводит их к распределению со средним 0 и стандартным отклонением 1. Это важно перед обучением моделей, особенно для алгоритмов, чувствительных к масштабу (например, SVM, KNN, линейная регрессия). ➡️ Пример:

from sklearn.preprocessing import StandardScaler
import numpy as np

X = np.array([[10, 200], [15, 300], [14, 250]])

scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

print(X_scaled)

➡️ После трансформации признаки будут нормализованы, что помогает улучшить сходимость и стабильность модели.

🗣️ StandardScaler — must-have шаг в пайплайне предварительной обработки данных для большинства классических ML-моделей

🖥 Подробнее тут

⚙️ Анализ данных: от EDA до Tinder-битвы графиков Расскажу, как мы в МТС учили студентов EDA не лекциями, а игрой по типу Tinder, только для графиков. Был фан, был хардкор и крутые визуализации. Читать...

🔥 ВЗРЫВНОЙ РОСТ ДОХОДА С ПОМОЩЬЮ ИИ и IT-технологий! В папке «AI & TECH IT» собрали ВСЮ информацию для заработка на нейросетях и в сфере технологий! Уже 1000+ человек автоматизировали рутину и начали зарабатывать. Там тебя ждут: ✦ Beauty-салон, где заявки обрабатывает нейросеть ✦ В честь дня рождения «Лаборатории Нейросетей» БОЛЬШОЙ розыгрыш Подпишись и уничтожь конкурентов с мощью этих каналов: https://t.me/addlist/ai&tech&it

⚙️ Рекомендательная система для вашего каталога научных работ (и не только!) Показано, как собрать рекомендательную систему на своём архиве документов, даже если там куча форматов. NLP + графы = машинный архивариус, который сам подсовывает нужные файлы. Читать...

Собрали для Вас подборку интересных каналов.👨‍💻 🖥 PytStart - стартуй в Python с нами! 🐍 PythonTalk. Авторский канал, где Python, AI и здравый смысл встречаются. Разбор свежих open-source инструментов, мануалы, новости с IT-передовой и трезвый взгляд на AI-хайп. 🐍Frontender’s notes - Годные статьи для Frontend разработчиков HTML, CSS, JS, React, Angular, Vue, TypeScript, Redux, MobX, NodeJS. 🐍Data Science | Machinelearning [ru] - Статьи на тему data science, machine learning, big data, python, математика, нейронные сети, искусственный интеллект (artificial intelligence) 🐍Node.JS [ru] | Серверный JavaScript - Все о разработке backend части на JavaScript (Node JS). А так же: Express JS, Next JS, Nest, Socket.IO And 🐍Python Tech Code — все, что нужно, чтобы стать настоящим гуру в программировании на Python. ➡️ Простой и понятный материал. ➡️ Практические примеры и увлекательные задачи. ➡️ Подсказки, советы и полезные ресурсы. 🐍Indigo Python - твой путь к мастерству в коде! 🐍Вакансии для тестировщиков - канал с вакансиями для тестировщиков. 🔵Вывожу за грань обыденного предпринимателей и классных людей! Я Ася ментальный микрохирург, интегративный психолог/эзотерик Помогаю 15 лет вырасти многократно в доходе, энергии, обрести баланс, любовь, счастье Жду тебя: https://t.me/bazenova1 Хочешь участвовать в подборке? Пиши!

📈 Подборка статей для вашей карьеры • Эволюция архитектур нейросетей в компьютерном зрении: сегментация изображений • Заяц не вырастет в акулу. Или секреты гибкой инженерной культуры от Александра Бындю • Все, пора увольняться: что я поняла после работы в токсичных командах • Базовое программирование, или Почему джуны не могут пройти к нам собеседование • Я стал аналитиком, потому что не смог быть программистом

⚙️ Организация ML-проекта с примерами Организация - это важно. То же относится к ML-проектам. Из каких компонент он должен состоять? Как оформить проект, чтобы всего хватало и было удобно это масштабировать? Рассмотрим организацию по шаблону CookieCutter с примерами. Читать...

🔥 Самые интересные статьи за последние дни: • Что читали на Хабре в 2024 году: анализ статей с Node.js, Google Sheets и каплей ChatGPT • Поднимаем в облаке расшифровку речи в текст с помощью нейросетей. VPS на пределе возможностей • Стоит ли ChatGPT о1 Pro своих денег? Небольшой тест-драйв модели • Возможности LLM и RAG на примере реализации бота для поддержки клиентов • Гетерогенные вычисления: проектирование и разработка вычислительной системы для нейросетей

🔥Приглашаем вас на три бесплатных вебинара курса «Data Engineer»🔥 📚Вебинар №1: «Как построить Lakehouse на Iceberg и S3» ⏰27 августа в 20:00 мск ✅На вебинаре: • Data Warehouse, Data Lake, Data Lakehouse: история развития, что и когда использовать? • Обзор Apache Iceberg: архитектура, преимущества и кейсы использования. • Хранение данных в S3: настройка бакетов, управление доступом, cost optimization. • Развертывание Iceberg на S3. • Работа с Iceberg на Spark и Trino. 📚Вебинар №2: «DWH, Data Lake и Data Lakehouse: архитектурные различия и практическое применение» ⏰ 8 сентября в 20:00 мск На вебинаре: • Data Warehouse (DWH): Классическая архитектура и принципы • Data Lake: Хранение "сырых" данных любого формата. Проблемы управления и governance • Data Lakehouse: лучшие практики DWH и Data Lake ACID-транзакции и поддержка BI-аналитики • Сравнительный анализ: Критерии выбора для разных задач Примеры реализаций (Snowflake, Databricks Delta Lake) • Кейсы применения: Когда выбрать DWH, а когда — Lakehouse Миграция между подходами 📚Вебинар №3: «Развертывание Spark кластера с помощью Terraform в облаке» ⏰ 23 сентября в 18:00 мск ✅На вебинаре: • Разберем один из принципов развертывания Spark кластера в облачных провайдерах. • Покажем Terraform конфигурации для автоматизированного развертывания кластера. • Продемонстрируем подключение к кластеру для работы из IDE. 🎁Участники вебинаров получат подарки на почту🎁 Регистрация на вебинары ➡️ https://vk.cc/cOZRfW Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

👩‍💻 Напишите функцию для расчёта Accuracy вручную В машинном обучении Accuracy — это метрика качества классификации. Показывает, сколько предсказаний модель сделала правильно. Решение задачи🔽

def accuracy_score(y_true, y_pred): correct = 0 for true, pred in zip(y_true, y_pred): if true == pred: correct += 1 return correct / len(y_true) # Пример использования: y_true = [1, 0, 1, 1, 0, 1] y_pred = [1, 0, 0, 1, 0, 1] print(accuracy_score(y_true, y_pred)) # 0.833...

⚙️ Когда обучение не идет. Loss is NaN. Причины и решения В статье разберут, почему при обучении нейросети loss внезапно становится NaN и модель ломается. Расскажут, какие бывают причины этого трэша и как спасти обучение без лишней боли. Читать...

👩‍💻 Чем отличается метод .transform() от .apply() в pandas? В pandas методы .transform() и .apply() часто используются для обработки данных по столбцам и строкам, но они работают по-разному. Метод .apply() применяет функцию к каждому элементу или ряду, и возвращает объект любой формы (например, DataFrame или Series). В отличие от него, .transform() применяет функцию к каждой ячейке или группе и возвращает объект той же формы, что и входной. ➡️ Пример:

import pandas as pd

df = pd.DataFrame({'A': [1, 2, 3], 'B': [10, 20, 30]})

# Используем .apply() для вычисления суммы по столбцам
print(df.apply(sum))  # Вернет Series с суммами столбцов

# Используем .transform() для нормализации каждого значения в столбце
print(df.transform(lambda x: (x - x.mean()) / x.std()))
# Вернет DataFrame с нормализованными значениями

🗣 .apply() подходит для сложных операций и агрегаций, а .transform() удобно использовать для обработки данных с сохранением исходной структуры.

🖥 Подробнее тут

Data-специалисты — общий сбор 💪 В этом году на IT-конференции GoCloud Tech будет отдельный трек про данные и аналитику:

➡️ Платформа данных в облаке ➡️ Как настраивать потоковое чтение с геораспределенных хранилищ ➡️ Как работают быстрые NVMe-oF RDMA-диски ➡️ Тренды в мире данных: куда стремятся СУБД ➡️ Как работать на автопилоте с Jupyter-ноутбуком

А еще будут отдельные треки про тренды в AI&ML, облачную инфраструктуру и инструменты, ускоряющие разработку. Где и когда ⬇️ 3 сентября, Москва, Гоэлро Лофт Регистрируйтесь🖱

🤔 Выбираем MLOps инструменты с учётом зрелости команды В статье разбирают, как выбрать MLOps-инструменты под уровень зрелости команды: почему решений много, но не все подходят, и как не утонуть в многообразии вариантов. Читать...

🧠 Создаем свой RAG: введение в LangGraph В статье объясняют, что такое RAG и как использовать LangGraph для генерации с дополненной выборкой: основы, примеры и подготовка к созданию собственных RAG-систем. Читать...

🔥 БЕСПЛАТНЫЙ КУРС ПО СОЗДАНИЮ НЕЙРО-СОТРУДНИКОВ НА GPT И ДРУГИХ LLM 🔥 Ищете практический и углубленный курс, чтобы освоить создание нейро-сотрудников? Мы создали курс из 5 объемных занятий. Это именно то, что нужно, чтобы прокачать свои навыки абсолютно бесплатно! 📌 Темы занятий: 1. Введение в мир нейро-сотрудников 2. Как работают LLM и их аналоги 3. Создание базы знаний для нейро-сотрудника (RAG) 4. Тестирование и отладка нейро-сотрудников 5. Интеграция нейро-сотрудников в Production Вот 5 тем курса - он максимально простой и доступный, общеобразовательный, без какого-либо сложного программирования 📚Прохождение этого курса, скорее всего, займет у вас от 1 до 3 часов 🤖 Присоединяйтесь к нашему бесплатному курсу и разберитесь в этой увлекательной теме с нами!