Data Science | Machinelearning [ru]

Крупнейший форум беспилотных технологий ⚡С 7 по 17 августа в Сколково пройдёт Международный форум «Беспилотные системы: технологии будущего» — крупнейшая российская площадка для разработчиков, производителей и компаний, которые интегрируют роботизированные и беспилотные системы.🚗 • Масштабная экспозиция инновационных беспилотников и роботизированных комплексов для ключевых отраслей. • Вся экосистема: от разработчиков и интеграторов до инвесторов и госструктур. • Кубок Мэра Москвы по гонкам дронов – международный чемпионат лучших пилотов. Форум включает выставку, деловую программу, тестовые зоны и международные соревнования дронов. Это прямой канал к клиентам, партнёрам и заказчикам. Вход на мероприятие свободный. Регистрируйтесь на сайте!🏃‍♂️ Зарегистрироваться #реклама мфбс.рф О рекламодателе

⚡Эксклюзивный временный доступ к папке «AI & TECH & IT» — это уникальная коллекция каналов по интересным статьям и способам заработка в сфере искусственного интеллекта и технологий. В папке можно найти: 🟠 Как продавать и записывать на услуги 24/7 с помощью ИИ? 🟠 Создание вирусных, захватывающих ИИ-видео. 🟠 Актуальные новости в сфере информационных технологий. 📎 Подписывайтесь на папку «AI & TECH & IT» прямо сейчас — изучайте каналы и прокачивайте свои скиллы в сфере ИИ и технологий! ПОДПИСАТЬСЯ

📈 Подборка статей для вашей карьеры • «Снова упала?» Как поднять самооценку и зачем мы сравниваем себя с другими, даже если от этого больно • Из учителя в QA: мой путь в IT • Рынок дата-инженеров и прогноз на 2025 • Как сделать резюме, которое дойдёт до работодателя. Фильтры ATS в 2025 году • Ошибайся смело: жизненные уроки из мира machine learning

⚙️ KAN 2.0: Kolmogorov-Arnold Networks Meet Science Статья представляет перевод работы о нейронных сетях на основе алгоритма Колмогорова-Арнольда (KAN). Рассматриваются новые исследования, связь с наукой и использование библиотеки pykan на Python для практических задач. Читать...

🔥 Самые интересные статьи за последние дни: • о3 теснит программистов? Как OpenAI снова всех удивила • AI, который всё за нас решит • Второе пришествие мейнфреймов. Всё больше компаний хотят запускать ИИ у себя в офисе • Обзор на разнообразные интерфейсы Stable Diffusion. Automatic1111 — не одинок

👩‍💻 Проверка, являются ли две строки анаграммами Напишите функцию, которая принимает две строки и проверяет, являются ли они анаграммами. Анаграммы — это слова, которые содержат одинаковые буквы в одинаковом количестве, но в разном порядке. Игнорируйте регистр и пробелы. Пример:

result1 = are_anagrams("listen", "silent")
print(result1)  # Ожидаемый результат: True

result2 = are_anagrams("hello", "world")
print(result2)  # Ожидаемый результат: False

Решение задачи🔽

def are_anagrams(str1, str2): # Удаляем пробелы и приводим к одному регистру str1 = ''.join(str1.lower().split()) str2 = ''.join(str2.lower().split()) # Проверяем, равны ли отсортированные символы return sorted(str1) == sorted(str2) # Пример использования: result1 = are_anagrams("listen", "silent") print(result1) # Ожидаемый результат: True result2 = are_anagrams("hello", "world") print(result2) # Ожидаемый результат: False

⚙️ Альфа-Банк оплатит студентам магистратуру по HR-Tech Он запустил программу совместно с ВШЭ. Эксперты научат разрабатывать HR-технологии и управлять цифровыми продуктами. Расскажут, как формировать, развивать и мотивировать команды. Студенты пройдут оплачиваемую стажировку в Альфе, лучших позовут в команду. Подать заявку можно до 8 августа.

⚙️ Нейросетевой апскейлинг дома: вторая молодость для классических мультфильмов Статья рассказывает, как с помощью нейросетей улучшить качество старых видеозаписей, включая VHS и DVD. Описываются инструменты, процесс и результаты с примерами, доступные каждому без глубоких технических знаний. Читать...

⁉️ Хотите узнать, как устроен рабочий процесс в ML и получить базовые навыки работы с данными? 23 июля в 20:00 МСК OTUS проводит открытый урок «ML для начинающих – первые шаги с Jupyter Notebook». Вас ждёт: – Обзор этапов машинного обучения: от подготовки данных до первой модели. – Настройка виртуального окружения для изоляции экспериментов. – Знакомство с Jupyter Notebook: анализ, визуализация, код и Markdown вместе. Этот урок — идеальная отправная точка перед стартом курса «Специализация Machine Learning». Все участники получат скидку на обучение. ➡️ Регистрация открыта: https://vk.cc/cNV4T2 Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, erid: 2Vtzqv57FM2

⚙️ Пишем свою Diffusion модель с нуля Статья предлагает разобраться в устройстве Diffusion моделей, их математике и принципах работы. Автор делится простыми объяснениями, примерами кода и результатами генерации изображений на собственной модели. Читать...

⚙️ Что такое train_test_split в Scikit-learn и зачем он используется? train_test_split — это функция из библиотеки Scikit-learn, которая используется для разделения данных на тренировочный и тестовый наборы. Это необходимо для оценки качества модели на данных, которые она не видела во время обучения. ➡️ Пример:

from sklearn.model_selection import train_test_split
import numpy as np

# Данные
X = np.array([[1], [2], [3], [4], [5]])
y = np.array([10, 20, 30, 40, 50])

# Разделение данных (80% на обучение, 20% на тест)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

print("Тренировочные данные:", X_train, y_train)
print("Тестовые данные:", X_test, y_test)

🗣️ В этом примере данные разделяются на тренировочный и тестовый наборы в соотношении 80/20. Это позволяет модели обучаться на одной части данных и проверять точность на другой, что предотвращает переобучение.

🖥 Подробнее тут

⚙️ Как обеспечить Data Quality терабайтов данных и зачем: опыт СИБУРа Статья посвящена опыту СИБУРа в создании DQ-сервиса для обеспечения качества данных. Рассматриваются задачи DQ, архитектура решения и универсальные подходы, применимые для анализа данных в крупных компаниях. Читать...

📕 Практические кейсы использования ClickHouse для разработчиков, администраторов, специалистов по базам данных, Data engineers, Backend и FullStack-разработчиков На открытом уроке 24 июля в 20:00 мск мы погрузимся в тонкости работы с ClickHouse: 📗 На вебинаре разберём: 1. Основные принципы работы, архитектура и преимущества использования ClickHouse; 2. Реальные кейсы использования ClickHouse для анализа веб-логов, IoT данных и финансовых транзакций; 📘 В результате на практике разберетесь в настройке и использовании ClickHouse для обработки больших объемов данных. 👉 Регистрация и подробности о курсе NoSQL: https://vk.cc/cNTrRb Все участники открытого урока получат скидку на курс "NoSQL" Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

🤔 Размер имеет значение: как исторические данные помогают на этапе дизайна A/B-теста Статья изучает применение метода CUPED в A/B-тестах для повышения чувствительности и сокращения выборок. Рассматривается его использование на этапе дизайна эксперимента без потери статистической мощности. Читать...

👩‍💻 Задачка по Python Напишите функцию, которая принимает DataFrame и возвращает имена двух столбцов с наибольшей положительной корреляцией. ➡️ Пример:

data = pd.DataFrame({
    'A': [1, 2, 3, 4],
    'B': [2, 4, 6, 8],
    'C': [1, 0, 1, 0],
    'D': [10, 20, 30, 40]
})

print(find_highest_correlation(data))  
# Ожидаемый результат: ('B', 'D')

Решение задачи ⬇️

def find_highest_correlation(df): corr_matrix = df.corr() max_corr = 0 columns = (None, None) for col1 in corr_matrix.columns: for col2 in corr_matrix.columns: if col1 != col2 and corr_matrix[col1][col2] > max_corr: max_corr = corr_matrix[col1][col2] columns = (col1, col2) return columns # Пример использования: import pandas as pd data = pd.DataFrame({ 'A': [1, 2, 3, 4], 'B': [2, 4, 6, 8], 'C': [1, 0, 1, 0], 'D': [10, 20, 30, 40] }) print(find_highest_correlation(data)) # Ожидаемый результат: ('B', 'D')

⚙️ Как я учился писать промпты для RAG пайплайна. Разбор 3-го места на AI Journey 24 E-com AI assistant Статья описывает опыт создания RAG-пайплайна с использованием Gigachat API для участия в AI Journey. Автор делится инсайтами, полученными в процессе разработки ассистента для рекомендаций товаров, который занял 3-е место. Читать...

Как мы делаем СУБД Pangolin? Привет! На связи команда разработки СУБД Platform V Pangolin DB. Мы делаем полезное сообщество для всех профессионалов из мира СУБД и всех, кому интересен наш продукт. Пишем о том, как делаем Pangolin, разбираем ваши кейсы в чате, помогаем решать рабочие задачки, зовем на бесплатные вебинары и митапы, проводим квизы про базы данных, разбираем английский сленг, а еще у нас есть вакансии и идеи для хобби айтишников... Подпишитесь, у нас как раз много нового! Узнать больше #реклама 16+ О рекламодателе

🔥 Самые интересные статьи за последние дни: • Смарт-функции в Алисе: как LLM помогает понять, чего хочет пользователь • Сбер выкладывает GigaChat Lite в открытый доступ • История YOLO – самой известной архитектуры компьютерного зрения • Магия простоты: как мы улучшили отображение общественного транспорта на карте • Обучение и fine-tuning моделей простым языком: зачем, как, где

👩‍💻 Задачка по Python Напишите функцию, которая принимает текст и возвращает наиболее часто встречающееся слово. Игнорируйте регистр и знаки препинания. ➡️ Пример:

text = "Data science is fun. Science makes data fun, and data makes science better."
print(most_frequent_word(text))  
# Ожидаемый результат: "data"

Решение задачи ⬇️

import re from collections import Counter def most_frequent_word(text): # Убираем знаки препинания и приводим текст к нижнему регистру words = re.findall(r'\b\w+\b', text.lower()) # Подсчитываем частоту слов word_counts = Counter(words) # Возвращаем слово с максимальной частотой return word_counts.most_common(1)[0][0] # Пример использования: text = "Data science is fun. Science makes data fun, and data makes science better." print(most_frequent_word(text))

📊 ИИ в Крипто-Торговле: Возможен ли Успех? Статья описывает процесс создания успешных ИИ-моделей для автоматизированной крипто-торговли на ByBit. Рассматриваются три стратегии, их разработка, оптимизация и результаты, превысившие убытки. Читать...