Data Science | Machinelearning [ru]

🤖 Как развернуть LLM с помощью vLLM и TorchServe Хочешь запустить большую языковую модель в продакшене, но не знаешь, как совместить простоту развертывания с промышленной надежностью? Комбинация vLLM и TorchServe решает эту задачу. Она обеспечивает как простой запуск, так и продвинутые возможности для масштабирования. Читать...

📈 Подборка статей для вашей карьеры • Продуктивность и почему «сделать много всего» — это не про неё • Куда выйти из айти? • Как я боролся с выгоранием в ИТ: лайфхаки и личный опыт • ИТ-пенсионеры и где они обитают • Почему мне нужно, чтобы ты вкатился в айти

📝 Подборка вакансий для сеньоров Prompt-инженер • Технический перевод, техническая документация, Python • до 200 000 ₽ | Старший (Senior) уровень Аналитик данных / Data Analyst • SQL, Python, математическая статистика, Jupyter Notebook, A/B тестирование • от 300 000 до 400 000 ₽ | Старший (Senior) уровень Database Administrator • ClickHouse, PostgreSQL, Python • до 5 000 $ | Старший (Senior) уровень

🤔 250 откликов за 20 минут: как я автоматизировал процесс ответов на вакансии Поиск работы часто превращается в рутину. Чтобы сэкономить время, разработчик создал систему автоматизации откликов на вакансии. Как это работает и какие результаты он получил — читайте в статье. Читать...

💬 Внедрение ИИ в общение с клиентами Статья исследует развитие ИИ в общении с клиентами и его интеграцию в бизнес. Обсуждаются успехи и сложности внедрения чат-ботов, важность настройки под бизнес-цели и перспективы замены сотрудников ИИ. Читать...

👩‍💻 Поиск самого часто встречающегося элемента в списке Напишите функцию, которая принимает список и возвращает элемент, который встречается чаще всего. Если таких элементов несколько, вернуть любой из них. Пример:

numbers = [1, 3, 2, 3, 4, 1, 3, 2, 1]
result = most_frequent(numbers)
print(result)  
# Ожидаемый результат: 3 (или 1, если в списке оба встречаются одинаково часто)

Решение задачи🔽

from collections import Counter def most_frequent(lst): count = Counter(lst) return max(count, key=count.get) # Пример использования: numbers = [1, 3, 2, 3, 4, 1, 3, 2, 1] result = most_frequent(numbers) print(result) # Ожидаемый результат: 3

⚙️ Нейросетевой апскейлинг дома: вторая молодость для классических мультфильмов Статья рассказывает, как с помощью нейросетей улучшить качество старых видеозаписей, включая VHS и DVD. Описываются инструменты, процесс и результаты с примерами, доступные каждому без глубоких технических знаний. Читать...

📝 Подборка вакансий для мидлов Аналитик данных Middle+ / Data Analyst • Python, SQL, A/B тестирование • от 200 000 до 300 000 ₽ | Средний (Middle) уровень Аналитик данных • SQL, PostgreSQL, Greenplum, Apache Airflow, DWH, Apache Spark • от 280 000 до 350 000 ₽ | Средний (Middle) уровень Инженер по компьютерному зрению • Python, OpenCV, TensorFlow, PyTorch, машинное обучение, глубокое обучение • Уровень дохода не указан | Требуемый опыт не указан

⚙️ Что такое train_test_split в Scikit-learn и зачем он используется? train_test_split — это функция из библиотеки Scikit-learn, которая используется для разделения данных на тренировочный и тестовый наборы. Это необходимо для оценки качества модели на данных, которые она не видела во время обучения. ➡️ Пример:

from sklearn.model_selection import train_test_split
import numpy as np

# Данные
X = np.array([[1], [2], [3], [4], [5]])
y = np.array([10, 20, 30, 40, 50])

# Разделение данных (80% на обучение, 20% на тест)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

print("Тренировочные данные:", X_train, y_train)
print("Тестовые данные:", X_test, y_test)

🗣️ В этом примере данные разделяются на тренировочный и тестовый наборы в соотношении 80/20. Это позволяет модели обучаться на одной части данных и проверять точность на другой, что предотвращает переобучение.

🖥 Подробнее тут

🤔 Данные — это ископаемое топливо для ИИ. Правда, что мы его исчерпали? В статье обсуждается заявление Ильи Суцкевера о том, что данные для ИИ сравнимы с ископаемым топливом, и их запас исчерпан. Объясняется концепция энтропии данных и её значение для LLM. Читать...

⚡️ В сети начали массово сливать курсы и книги известных онлайн школ Вот отсортированная база с тонной материала(постепенно пополняется): БАЗА (4687 видео/книг): (363 видео, 87 книги) — Python (415 видео, 68 книги) — Frontend (143 видео, 33 книги) — ИБ/Хакинг (352 видео, 89 книги) — С/С++ (343 видео, 87 книги) — Java (176 видео, 32 книги) — Git (293 видео, 63 книги) — C# (174 видео, 91 книги) — DevOps (167 видео, 53 книги) — PHP (227 видео, 83 книги) — SQL/БД (163 видео, 29 книги) — Linux (107 видео, 43 книги) — СисАналз (181 видео, 32 книги) — Go (167 видео, 43 книги) — Kotlin/Swift (112 видео, 24 книги) — Flutter (137 видео, 93 книги) — DS/ML (113 видео, 82 книги) — GameDev (183 видео, 37 книги) — UI/UX (129 видео, 73 книги) — QA (213 видео, 63 книги) — Rust (121 видео, 24 книги) — Ruby Скачивать ничего не нужно — все выложили в Telegram

🔎 Подборка вакансий для джунов AI/Data Specialist (Эксперт по AI/ML / Data Ops) 🟢Python, pandas, numpy, scikit-learn, PyTorch, TensorFlow, MLOps, CI/CD, ML-пайплайны, компьютерное зрение, обработка естественного языка 🟢от 180 000 до 300 000 ₽ на руки | 1–3 года опыта Аналитик SQL / Data Analyst 🟢SQL, PostgreSQL, MySQL, Python, ETL, Airflow, API, анализ данных, визуализация данных, BI-инструменты, DataLens 🟢от 110 000 ₽ на руки | 1–3 года опыта Аналитик данных/data analyst контактного центра (CPA nutra) 🟢Excel, анализ данных, BI-отчётность, оптимизация процессов, контактные центры, CPA nutra 🟢от 80 000 ₽ на руки | 1–3 года опыта

👩‍💻 Проверка, являются ли две строки анаграммами Напишите функцию, которая принимает две строки и проверяет, являются ли они анаграммами. Анаграммы — это слова, которые содержат одинаковые буквы в одинаковом количестве, но в разном порядке. Игнорируйте регистр и пробелы. Пример:

result1 = are_anagrams("listen", "silent")
print(result1)  # Ожидаемый результат: True

result2 = are_anagrams("hello", "world")
print(result2)  # Ожидаемый результат: False

Решение задачи🔽

def are_anagrams(str1, str2): # Удаляем пробелы и приводим к одному регистру str1 = ''.join(str1.lower().split()) str2 = ''.join(str2.lower().split()) # Проверяем, равны ли отсортированные символы return sorted(str1) == sorted(str2) # Пример использования: result1 = are_anagrams("listen", "silent") print(result1) # Ожидаемый результат: True result2 = are_anagrams("hello", "world") print(result2) # Ожидаемый результат: False

➡️ Глубокое обучение: Алгоритм обратного распространения ошибки. Теория и реализация. С нуля Обратное распространение ошибки — основа обучения нейросетей. В статье: архитектура, расчет производных, реализация сетей для задач «ИЛИ» и MNIST. Простые шаги к пониманию алгоритма! Читать...

👀 Сравнение 30 фотореалистичных ИИ-изображений: Flux1.1 против SD3.5 В статье обсуждаются возможности Flux1.1 Pro и SD3.5 Large в генерации фотореалистичных изображений. Описаны различия моделей и их результаты после разделения команды разработчиков. Читать...

👩‍💻 Подсчёт количества слов в строке Напишите функцию, которая принимает строку и возвращает словарь, где ключами являются слова из строки, а значениями — количество их вхождений. Игнорируйте регистр и знаки препинания. Пример:

text = "Hello, world! Hello Python world."
result = count_words(text)
print(result)  
# Ожидаемый результат: {'hello': 2, 'world': 2, 'python': 1}

Решение задачи🔽

import re from collections import Counter def count_words(text): # Убираем знаки препинания и приводим к нижнему регистру words = re.findall(r'\b\w+\b', text.lower()) # Подсчитываем количество вхождений каждого слова return Counter(words) # Пример использования: text = "Hello, world! Hello Python world." result = count_words(text) print(result) # Ожидаемый результат: {'hello': 2, 'world': 2, 'python': 1}

🤖 Как удалить Excel навсегда: делегируем юнит-экономику на Wildberries нейронке Статья объясняет, как нейросети помогают оптимизировать юнит-экономику продавцов на WB, особенно при работе с большим ассортиментом. Рассматриваются подходы к автоматизации анализа и принятию решений. Читать...

🔎 Подборка зарубежных вакансий Marketing Analyst 🟢SQL, Power BI, Marketing Analysis, Google Analytics, Business English, API 🟢от 2 500 до 4 000 $ до вычета налогов | 1–3 года Data Scientist (mobile+web) 🟢Big Data, Amplitude, Power BI, A/B Testing, Predictive Modeling, Python 🟢от 4 000 $ до вычета налогов | 3–6 лет Data Analyst & Mathematical 🟢Python, Теория вероятностей, Математическая статистика, Статистический анализ, Оптимизационное моделирование 🟢Уровень дохода не указан | 3–6 лет

📢 Делай демо своих решений Закрыл задачу, но никто не понимает, насколько крутое решение ты сделал? Это минус не только для команды, но и для твоей репутации. 👉 Совет: каждую значимую доработку презентуй команде. Покажи, как работает функционал, объясни, почему выбрал этот подход. Это не только помогает коллегам разобраться, но и показывает твой вклад в общий результат.

🔥 Дообучаем языковую модель GPT2 с помощью Torch Статья углубляется в дообучение языковых моделей, используя DistilGPT2 на данных QuyenAnhDE/Diseases_Symptoms. Рассматривается процесс настройки модели для генерации симптомов на основе заболеваний, с возможностью расширения логики. Читать...