Data Science | Machinelearning [ru]

🔥 Самые интересные статьи за последние дни: • Смарт-функции в Алисе: как LLM помогает понять, чего хочет пользователь • Сбер выкладывает GigaChat Lite в открытый доступ • История YOLO – самой известной архитектуры компьютерного зрения • Магия простоты: как мы улучшили отображение общественного транспорта на карте • Обучение и fine-tuning моделей простым языком: зачем, как, где

👩‍💻 Классификация данных с использованием k-Nearest Neighbors (kNN) Напишите функцию на Python, которая принимает обучающий набор данных, тестовый набор данных и значение 𝑘, а затем использует алгоритм k-ближайших соседей (kNN) для классификации тестовых данных. Функция должна возвращать предсказанные метки для тестового набора данных. Пример:

import numpy as np

X_train = np.array([[1, 2], [2, 3], [3, 4], [5, 5]])
y_train = np.array([0, 0, 1, 1])
X_test = np.array([[2, 2], [4, 4]])

predictions = knn_classification(X_train, y_train, X_test, k=3)
print(predictions)  # Ожидаемый результат: [0, 1]

Решение задачи🔽

from sklearn.neighbors import KNeighborsClassifier def knn_classification(X_train, y_train, X_test, k=3): model = KNeighborsClassifier(n_neighbors=k) model.fit(X_train, y_train) return model.predict(X_test) # Пример использования: import numpy as np X_train = np.array([[1, 2], [2, 3], [3, 4], [5, 5]]) y_train = np.array([0, 0, 1, 1]) X_test = np.array([[2, 2], [4, 4]]) predictions = knn_classification(X_train, y_train, X_test, k=3) print(predictions) # Ожидаемый результат: [0, 1]

🧠 Промпты для ChatGPT, которые могут повысить качество ответов ChatGPT Это коллекция из 7 моих любимых промптов для ChatGPT (и моих самых используемых промптов), которые вы можете добавить в любой промпт и мгновенно сделать его в 10 раз лучше. Читать...

🔎 Подборка зарубежных вакансий Data Engineer 🟢SQL, Python, Apache Airflow, Tableau, ClickHouse 🟢Уровень дохода не указан | 3–6 лет Marketing analyst 🟢SQL, Power BI, Marketing Analysis, Google Analytics, API, Business English 🟢от 2 500 до 4 000 $ | 1–3 года Data Engineer 🟢DBT, Amazon Redshift, Fivetrain, Python, ETL, AWS, SQL 🟢Уровень дохода не указан | 5+ лет

🚀 Ускоряйся за счёт «микрооптимизаций» в работе Ты можешь быть крутым специалистом, но если на рутинные действия уходит куча времени, ты теряешь продуктивность. 👉 Совет: автоматизируй повторяющиеся задачи, используй горячие клавиши в IDE, создай шаблоны для типовых задач. Маленькие ускорения в работе в сумме дадут огромный прирост скорости и эффективности.

⚙️ Запускаем 8B LLM в браузере: AQLM.rs Как запустить Llama 3.1 8B в браузере без GPU? В статье рассказывается о проекте AQLM.rs: инференс на WebAssembly, сжатие модели и запуск на обычном ПК или мобильном устройстве. Читать...

🥽 Инфраструктура для Data-Engineer виртуальные окружения Статья объясняет, как управлять зависимостями и изолировать проекты в Python. Рассматриваются виртуальные окружения, работа с разными версиями Python, примеры из практики и лучшие подходы для разработки. Читать...

Курсы повышения квалификации при МГУ "Машинное обучение. Искусственные нейронные сети и генетические алгоритмы" Начинается прием заявок на прохождение курсов повышения квалификации "Машинное обучение. Искусственные нейронные сети и генетические алгоритмы", проводимых НИИ ядерной физики имени Д.В.Скобельцына Московского Государственного Университета имени М.В.Ломоносова. Окончившим курсы МГУ выдаёт удостоверение установленного образца о повышении квалификации на бланке строгого учёта с подписью проректора и гербовой печатью МГУ, в твёрдом переплёте. Внимание! Занятия будут проходить в двойном формате - очно на территории МГУ на Воробьевых горах с возможностью подключения через zoom, что позволяет обучаться лицам из любого региона РФ. Занятия будут проходить два раза в неделю в вечернее время. Начало занятий 25 февраля 2025 г. Получить более подробную информацию о программе обучения и подать заявку для прохождения курса Вы можете по адресу: Курсы повышения квалификации при МГУ "Машинное обучение. Искусственные нейронные сети и генетические алгоритмы" Начинается прием заявок на прохождение курсов повышения квалификации "Машинное обучение. Искусственные нейронные сети и генетические алгоритмы", проводимых НИИ ядерной физики имени Д.В.Скобельцына Московского Государственного Университета имени М.В.Ломоносова. Окончившим курсы МГУ выдаёт удостоверение установленного образца о повышении квалификации на бланке строгого учёта с подписью проректора и гербовой печатью МГУ, в твёрдом переплёте. Внимание! Занятия будут проходить в двойном формате - очно на территории МГУ на Воробьевых горах с возможностью подключения через zoom, что позволяет обучаться лицам из любого региона РФ. Занятия будут проходить два раза в неделю в вечернее время. Начало занятий 25 февраля 2025 г. Получить более подробную информацию о программе обучения и подать заявку для прохождения курса Вы можете по адресу: https://clck.ru/3GE8eA

💬 Голосовая аутентификация через GPT Статья исследует возможность аутентификации пользователей GPT-чата во внешних приложениях. Рассматривается голосовое взаимодействие и альтернативный способ аутентификации через пароли вместо OAuth 2.0. Читать...

📈 Подборка статей для вашей карьеры • Эволюция архитектур нейросетей в компьютерном зрении: сегментация изображений • Заяц не вырастет в акулу. Или секреты гибкой инженерной культуры от Александра Бындю • Все, пора увольняться: что я поняла после работы в токсичных командах • Базовое программирование, или Почему джуны не могут пройти к нам собеседование • Я стал аналитиком, потому что не смог быть программистом

💾 Онлайн-доски теперь в on-premise! Яндекс 360 для бизнеса выкатил корпоративный сервис для совместной работы. Можно строить схемы, вести проекты, разбирать user flow и визуализировать данные. 🛠 Что под капотом? • On-premise-развертывание — все данные остаются внутри компании. • Гибкое управление доступами — настройка через админку. • Безопасность — данные зашифрованы, работают в закрытом контуре. 📡 В будущем добавят облачную версию, но пока онли self-hosted. Лицензия уже доступна.

🎁 Динамическая адаптация награды с помощью Pydantic Статья рассказывает, как Pydantic помогает бизнесу гибко управлять наградами для пользователей. Описаны преимущества Pydantic в валидации и преобразовании данных по сравнению с dataclass. Читать...

⚙️ ML в промышленности: как построить систему управления процессом окомкования железорудных окатышей Статья расскажет, как машинное обучение помогает улучшить процесс производства железорудных окатышей, снизив зависимость от человеческого фактора, и о примерах, когда технологии сталкиваются с реальными проблемами. Читать...

👩‍💻 Поиск наиболее часто встречающегося слова в тексте Напишите функцию, которая принимает текстовую строку и возвращает наиболее часто встречающееся слово и количество его вхождений. Игнорируйте регистр и знаки препинания. Пример:

text = "Python is great, and Python is fun! Learning Python is rewarding."
result = most_common_word(text)
print(result)
# Ожидаемый результат: ('python', 3)

Решение задачи🔽

import re from collections import Counter def most_common_word(text): words = re.findall(r'\b\w+\b', text.lower()) counter = Counter(words) return counter.most_common(1)[0] # Пример использования: text = "Python is great, and Python is fun! Learning Python is rewarding." result = most_common_word(text) print(result)

👀 Sora от OpenAI: принцип работы, примеры видео и сравнение с Runway Компания OpenAI представила свою ИИ-модель для генерации видео — Sora. В статье обсуждаются ожидания, доступность и сравнительный анализ с конкурентами, такими как Kling AI и Runway Gen-3. Читать...

📝 Подборка вакансий для мидлов Data Scientist • Python, SQL, MS SQL Server, PostgreSQL, A/B тестирование, ML-модели, Ad-Hoc аналитика • Уровень дохода не указан | Средний (Middle) Data Scientist (Моделирование РБ) • Python, Spark, SQL, ML, DL, NLP, Apache Spark • Уровень дохода не указан | Средний (Middle) ML Engineer / Инженер машинного обучения • Python, PyTorch, PostgreSQL, FastAPI, LLM, MLOps, Git, Docker, AirFlow • Уровень дохода не указан | Средний (Middle) Python разработчик • Python, FastAPI, PostgreSQL, React • от 150 000 ₽ | Средний (Middle) Python разработчик • Python, Flask, FastAPI, PostgreSQL, MySQL • Уровень дохода не указан | Средний (Middle)

⚙️ Что такое модуль shutil в Python и зачем он используется? Модуль shutil предоставляет функции для работы с файлами и директориями, такие как копирование, перемещение и удаление. Он полезен для автоматизации задач управления файлами. ➡️ Пример:

import shutil

# Копирование файла
shutil.copy('source.txt', 'destination.txt')

# Перемещение файла
shutil.move('destination.txt', 'folder/destination.txt')

🗣️ В этом примере shutil.copy копирует файл, а shutil.move перемещает его в другую директорию. Это облегчает выполнение операций с файлами и папками.

🖥 Подробнее тут

⚙️ Машинное обучение: Логистическая регрессия. Теория и реализация. С нуля В этой статье я привел базовые сведения о логистической регрессии и показал как сделать модель с нуля на чистом Python. Логистическая функция, обучение, метрики качества для модели классификации, реализация и небольшой разбор обучения весов. Читать...

🔎 Подборка вакансий для джунов Junior/Middle Data Engineer 🟢Oracle, ClickHouse, Airflow, Pentaho DE, Streamsets, Debezium, Spark, Python 🟢до 360 000 ₽ | 1–3 года Junior Data Engineer 🟢Python, PostgreSQL, SQL, pandas, NumPy, Jupyter Notebook, NoSQL, Data Mining, Big Data 🟢от 150 000 до 200 000 ₽ | 1–3 года Специалист по сбору данных/ Junior data analyst 🟢Excel, Google Sheets, анализ данных, маркетинговые данные 🟢от 50 000 до 60 000 ₽ | 1–3 года

👩‍💻 Заполнение пропущенных значений медианой в числовых столбцах Напишите функцию, которая принимает pandas.DataFrame и возвращает новый DataFrame, где все пропущенные значения (NaN) в числовых столбцах заменены на медиану соответствующего столбца. Пример:

import pandas as pd

data = pd.DataFrame({
    'age': [25, 30, None, 45, 50],
    'salary': [50000, 60000, 55000, None, 65000],
    'city': ['NY', 'LA', 'NY', 'SF', 'LA']
})

cleaned_data = fill_missing_with_median(data)
print(cleaned_data)

     age    salary city
0   25.0  50000.0   NY
1   30.0  60000.0   LA
2   37.5  55000.0   NY
3   45.0  57500.0   SF
4   50.0  65000.0   LA

Решение задачи🔽

import pandas as pd def fill_missing_with_median(df): df_filled = df.copy() for col in df_filled.select_dtypes(include='number').columns: median = df_filled[col].median() df_filled[col].fillna(median, inplace=True) return df_filled # Пример использования: data = pd.DataFrame({ 'age': [25, 30, None, 45, 50], 'salary': [50000, 60000, 55000, None, 65000], 'city': ['NY', 'LA', 'NY', 'SF', 'LA'] }) cleaned_data = fill_missing_with_median(data) print(cleaned_data)