Data Science | Machinelearning [ru]

⚙️ Что такое PCA (Principal Component Analysis) в машинном обучении и зачем он используется? PCA — это метод снижения размерности, который преобразует исходные переменные в новый набор переменных (компонент), сохраняя как можно больше информации. Он помогает ускорить обучение моделей и уменьшить переобучение. ➡️ Пример:

import numpy as np
from sklearn.decomposition import PCA
from sklearn.datasets import load_iris

# Загрузка данных
data = load_iris()
X = data.data

# Применение PCA для снижения размерности до 2 компонент
pca = PCA(n_components=2)
X_pca = pca.fit_transform(X)

print(X_pca[:5])  # Преобразованные данные

🗣️ В этом примере PCA снижает размерность данных Iris с 4 до 2 компонент. Это позволяет визуализировать данные и ускорить работу моделей, сохраняя основную информацию.

🖥 Подробнее тут

AI и машинное обучение — это конечно круто, но сначала нужно обработать большие данные 🤓 Это можно делать в несколько кликов с помощью облачных сервисов. Как именно — покажет провайдер Cloud․ru на бесплатном вебинаре 18 февраля. О чем будут рассказывать: 😶‍🌫️как с помощью сервиса Evolution Managed Spark обрабатывать миллиарды записей; 😶‍🌫️как интегрировать Spark с Trino и Metastore; 😶‍🌫️как визуализировать обработанные данные с помощью системы BI. Будет точно полезно дата-инженерам, аналитикам данных и всем, кто интересуется архитектурой распределенных систем и хочет узнать больше о работе с большими данными. Зарегистрироваться можно здесь 👈

🔫 Claude сопротивляется Исследование Anthropic показывает, как их ИИ Claude мог притворяться злым, чтобы избежать «переобучения». Модель следовала поддельным документам для бесплатных пользователей, но сопротивлялась для премиум-аудитории. Читать...

📈 Подборка статей для вашей карьеры • Вся правда о еженедельных созвонах, или Зачем переливать из пустого в порожнее? • Тяжела и неказиста жизнь простого RnD. Часть первая: как работают с новыми технологиями в крупных компаниях • Прийти на внедренный проект на этапе развития системы: как аналитику быстро погрузиться в процессы • Как гуманитарию подойти к IT: из переводчика в технические писатели • Поздравляем, вы DevOps-инженер. Как найти себя в необъятном мире ИТ

📝 Подборка вакансий для сеньоров Data Engineer (Golang) • Golang, ClickHouse, MySQL, MongoDB, Kubernetes, HTTP/gRPC API, Apache Kafka, Redis • Уровень дохода не указан | от 3 лет Data Scientist NLP (портал gosuslugi.ru) • Python 3, numpy, pandas, scipy, sklearn, PyTorch, NLTK, transformers, FastAPI, Docker, Spark/Hadoop • Уровень дохода не указан | от 1 года Senior Data Engineer • Apache Hadoop, Spark (batch/streaming), Scala, SQL, Parquet, Hive, Kafka, HBase, ClickHouse, PostgreSQL, Airflow, Zeppelin, Jupyter, S3 MinIO • Уровень дохода не указан | от 5 лет Senior Python Dev (AI, Big Data, LLM) • Python, PostgreSQL, Big Data, AI, ML, ClickHouse, Time Series, Go • от 3 000 $ | от 5 лет

👩‍💻 Пишем свой PyTorch на NumPy. Часть 1 PyTorch — это мощный и гибкий фреймворк для машинного обучения, широко используемый для создания нейронных сетей. Он особенно популярен благодаря простоте использования, динамическим вычислительным графам и богатой экосистеме инструментов для обучения моделей. В этой статье мы реализуем собственную библиотеку машинного обучения на NumPy! Читать...

🧠 Как нейросети, RL и байесовскую оптимизацию стали использовать на ускорителях заряженных частиц Как машинное обучение помогает управлять ускорителями частиц? В статье раскрываются примеры применения нейронных сетей, обучения с подкреплением и байесовской оптимизации для стабилизации и настройки пучков частиц. Читать...

👩‍💻 Парсинг и подсчёт количества слов в текстовом файле Напишите функцию на Python, которая принимает путь к текстовому файлу и возвращает словарь с подсчётом количества уникальных слов. Слова должны сравниваться без учёта регистра, а знаки препинания должны быть удалены. Пример:

# Содержимое файла example.txt:
# "Hello, world! This is a test. Hello again."

result = count_words_in_file("example.txt")
print(result)
# Ожидаемый результат:
# {'hello': 2, 'world': 1, 'this': 1, 'is': 1, 'a': 1, 'test': 1, 'again': 1}

Решение задачи🔽

import string from collections import Counter def count_words_in_file(file_path): with open(file_path, 'r', encoding='utf-8') as f: text = f.read().lower() text = text.translate(str.maketrans('', '', string.punctuation)) words = text.split() return dict(Counter(words)) # Пример использования result = count_words_in_file("example.txt") print(result)

🔧 ТОП-10 опенсорсных инструментов для работы с ИИ в 2025 году Детальный разбор 10 самых перспективных инструментов для работы с ИИ в 2025 году. От создания умных ассистентов до построения мощных RAG-систем — разбираем возможности, сравниваем производительность, безопасность и простоту интеграции каждого решения. Читать...

Что такое Открытые школы Т1? Отвечают выпускники, которые уже прошли обучение и присоединились к команде ИТ-холдинга Т1 — смотри и вдохновляйся на собственный карьерный рост 💡 🎯 Готов к переменам? Открытые школы Т1 — это: 📌 бесплатный ИТ-интенсив для системных аналитиков с годом опыта 📌 гибкий формат, практические навыки и поддержка экспертов для подготовки к работе мечты 📌 возможность оффера в аккредитованный ИТ-холдинг с масштабными проектами и классными бонусами Сделай 2025 год началом новой карьерной главы! Регистрируйся до 14 марта, старт обучения — 17.03! 🚀 Информация о рекламодателе

📝 Подборка вакансий для мидлов Data-аналитик • Python, SQL, Apache Hadoop, Kubernetes, Docker • Уровень дохода не указан | 1–3 года Data-инженер • Python, Greenplum, Apache Airflow, Apache Spark, ETL, Apache Hadoop, Linux, PostgreSQL, Kubernetes, SQL • Уровень дохода не указан | 1–3 года Data Scientist • Python, pandas, NumPy, scikit-learn, matplotlib, SQL, Hadoop, PySpark, BitBucket, Jira, Agile • Уровень дохода не указан | 3–6 лет

⚙️ Что такое модуль datetime в Python и зачем он используется? Модуль datetime позволяет работать с датами и временем, включая их создание, форматирование и вычисление разницы между ними. Это полезно для задач, связанных с обработкой временных данных. ➡️ Пример:

from datetime import datetime, timedelta

# Текущая дата и время
now = datetime.now()
print("Сейчас:", now)

# Добавляем 7 дней к текущей дате
future_date = now + timedelta(days=7)
print("Через неделю:", future_date.strftime("%Y-%m-%d"))

🗣️ В этом примере datetime.now() получает текущую дату и время, а timedelta позволяет прибавить 7 дней. Метод strftime() форматирует дату в читаемый строковый формат.

🖥 Подробнее тут

🤖 Возможности LLM и RAG на примере реализации бота для поддержки клиентов Техподдержка — важный контакт с клиентами, но небольшие отделы не всегда справляются с нагрузкой. В статье обсуждаются чат-боты и нейросети (LLM и RAG) для автоматизации процессов и улучшения работы поддержки. Читать...

🔎 Подборка вакансий для джунов Продуктовый аналитик / Data Analyst (junior) 🟢Python, SQL, Amplitude, анализ данных 🟢до 800 $ | 1–3 года опыта Разработчик Back-End Java / BigData (Junior to Senior) 🟢Java, Spring, Hibernate, Vert.X, Docker, SQL (MySQL), NoSQL (Clickhouse, Cassandra), REST API, SDK 🟢от 75 000 до 350 000 ₽ | 1–3 года опыта Junior Data Analyst 🟢Python, SQL 🟢Уровень дохода не указан | 1–3 года опыта

Курсы повышения квалификации при МГУ "Машинное обучение. Искусственные нейронные сети и генетические алгоритмы" Продолжаетсяется прием заявок на прохождение курсов повышения квалификации "Машинное обучение. Искусственные нейронные сети и генетические алгоритмы", проводимых НИИ ядерной физики имени Д.В.Скобельцына Московского Государственного Университета имени М.В.Ломоносова. Окончившим курсы МГУ выдаёт удостоверение установленного образца о повышении квалификации на бланке строгого учёта с подписью проректора и гербовой печатью МГУ, в твёрдом переплёте. Внимание! Занятия будут проходить в двойном формате - очно на территории МГУ на Воробьевых горах с возможностью подключения через zoom, что позволяет обучаться лицам из любого региона РФ. Занятия будут проходить два раза в неделю в вечернее время. Начало занятий 25 февраля 2025 г. Получить более подробную информацию о программе обучения и подать заявку для прохождения курса Вы можете по адресу: https://clck.ru/3GHKbe

🤔 Правда ли, что развитие ИИ замедлилось? Масштабирование ИИ-систем долго считалось ключом к их развитию. Однако последние отчёты ставят это под сомнение: ROI от увеличения мощности снижается, а гипотеза «чем больше, тем лучше» теряет актуальность. Читать...

📕Открытый урок о запуске СУБД (MySQL, PostgreSQL) в Docker для системных администраторов Linux, администраторов баз данных (DBA) и разработчиков. На открытом уроке 11 февраля в 20:00 мск мы погрузимся в тему контейнеризации СУБД. 📗В результате вы: - Разберетесь в основах технологии контейнеризации; - Научитесь запускать различные версии СУБД MySQL и PostgreSQL; - Узнаете всё об особенностях работы баз данных в контейнерах и их "подводных камнях". Спикер Николай Лавлинский — эксперт технического руководства и оптимизации клиентской и серверной производительности веб-приложений, руководитель разработки более 100 веб-проектов, 15+ лет в веб-разработке и 10+ лет преподавания. 👉 Регистрируйтесь прямо сейчас, чтобы не пропустить мероприятие: https://otus.pw/08Lc/ 📙 Все участники открытого урока получат скидку на курс "Базы данных" Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, erid: 2VtzqvQWorV

🔥 Самые интересные статьи за последние дни: • Смарт-функции в Алисе: как LLM помогает понять, чего хочет пользователь • Сбер выкладывает GigaChat Lite в открытый доступ • История YOLO – самой известной архитектуры компьютерного зрения • Магия простоты: как мы улучшили отображение общественного транспорта на карте • Обучение и fine-tuning моделей простым языком: зачем, как, где

👩‍💻 Классификация данных с использованием k-Nearest Neighbors (kNN) Напишите функцию на Python, которая принимает обучающий набор данных, тестовый набор данных и значение 𝑘, а затем использует алгоритм k-ближайших соседей (kNN) для классификации тестовых данных. Функция должна возвращать предсказанные метки для тестового набора данных. Пример:

import numpy as np

X_train = np.array([[1, 2], [2, 3], [3, 4], [5, 5]])
y_train = np.array([0, 0, 1, 1])
X_test = np.array([[2, 2], [4, 4]])

predictions = knn_classification(X_train, y_train, X_test, k=3)
print(predictions)  # Ожидаемый результат: [0, 1]

Решение задачи🔽

from sklearn.neighbors import KNeighborsClassifier def knn_classification(X_train, y_train, X_test, k=3): model = KNeighborsClassifier(n_neighbors=k) model.fit(X_train, y_train) return model.predict(X_test) # Пример использования: import numpy as np X_train = np.array([[1, 2], [2, 3], [3, 4], [5, 5]]) y_train = np.array([0, 0, 1, 1]) X_test = np.array([[2, 2], [4, 4]]) predictions = knn_classification(X_train, y_train, X_test, k=3) print(predictions) # Ожидаемый результат: [0, 1]

🧠 Промпты для ChatGPT, которые могут повысить качество ответов ChatGPT Это коллекция из 7 моих любимых промптов для ChatGPT (и моих самых используемых промптов), которые вы можете добавить в любой промпт и мгновенно сделать его в 10 раз лучше. Читать...