Data Science | Machinelearning [ru]

🔎 Подборка вакансий для лидов Senior Data Engineer (Python, Spark, SQL) 🟢Python, SQL, PySpark, ETL, ELT, AWS, GCP, Azure, BigQuery, RDS, Azure SQL DB 🟢Уровень дохода не указан | 3–6 лет Data Domain Leader 🟢SQL, Python, Spark, ETL, Data Architecture, Data Warehousing, Agile, Scrum 🟢до 400 000 ₽ до вычета налогов | более 6 лет Lead Financial Data Engineer / Analyst 🟢SQL, SSIS, Visual Studio, Microsoft Excel 🟢от 500 000 ₽ до вычета налогов | более 6 лет

🧠 Прогнозы развития ИИ в 2025 году: версия «Ведомости. Технологии» Статья рассказывает об основных трендах в развитии искусственного интеллекта. Эксперты считают, что ИИ будет двигаться в сторону мультимодальности, гиперперсонализации и автономных систем. Также на рынке будет больше решений с открытым кодом, которые, по словам эксперта из Яндекса, поспособствуют повышению скорости разработки инновационных продуктов и созданию более доступных технологий. Читать…

⚙️ Как устроена Лаборатория Инноваций СИБУРа и зачем она нужна Как применять ИИ и цифровизацию в гигантской промышленной компании с десятками заводов? Узнайте, как СИБУР реализует более 30 успешных кейсов и работает с сотнями гипотез в Лаборатории ИИ. Читать...

🎄Hо-hо-hо! Новогодняя акция от NeuromateAI NeuromateAI — ваш умный AI-ассистент, который поможет: 🔹ускорить рабочие процессы 🔹писать код быстрее с помощью подсказок и готовых решений 🔹анализировать большие данные и упрощать сложные вычисления 🔹генерировать идеи для новых проектов или оптимизации существующих C 20 декабря до 10 января действуют скидки до 30% на все годовые тарифы — начни новый год с вложений в своё развитие с единой подпиской на самые популярные нейросети ⚡️ С NeuromateAI вы сможете сделать обучение более продуктивным и увлекательным. Подарите себе возможности для роста в 2025 году! 👉 Попробуйте NeuromateAI по выгодным условиям

📈 Подборка статей для вашей карьеры • «Снова упала?» Как поднять самооценку и зачем мы сравниваем себя с другими, даже если от этого больно • Из учителя в QA: мой путь в IT • Рынок дата-инженеров и прогноз на 2025 • Как сделать резюме, которое дойдёт до работодателя. Фильтры ATS в 2025 году • Ошибайся смело: жизненные уроки из мира machine learning

🔎 Подборка вакансий для сеньоров Senior Data Engineer 🟢Python, Spark, Hadoop, Docker, Kubernetes, SQL, CI/CD 🟢от 400 000 ₽ на руки | 3–6 лет Senior Data Analyst (Medtech) 🟢SQL, Tableau, Power BI, Python, R, Data Warehousing, Statistics 🟢до 330 000 ₽ на руки | 3–6 лет Senior Data Scientist (Recommender Systems) 🟢Python, PyTorch, Recommender Systems, A/B Testing, ClickHouse, Jenkins, Airflow 🟢от 5 000 до 6 500 € до вычета налогов | 3–6 лет

➡️ Добро пожаловать в CAMELoT В статье рассказывается о новой архитектуре CAMELoT, которая помогает большим языковым моделям обрабатывать длинные последовательности, не требуя повторного обучения. Она использует ассоциативную память для улучшения производительности. Читать...

⚙️ Автоматизация верификации кодовых датасетов подрядчиков с помощью LLM: снизили брак на 40% и сократили стоимость на 60% Статья рассказывает, как автоматизация на основе LLM ускорила верификацию данных и сократила ошибки в производственной цепочке. Узнаете, как это помогло заказчику сэкономить ресурсы и время. Читать...

👩‍💻 Выявление тренда в временном ряде Напишите Python-скрипт, который принимает временной ряд в виде pandas.Series и определяет тренд: восходящий, нисходящий или отсутствие тренда. Решение должно быть простым и лаконичным. ➡️ Пример:

import pandas as pd
import numpy as np

# Генерация данных
date_range = pd.date_range(start="2020-01-01", periods=12, freq="M")
values = np.linspace(10, 20, 12) + np.random.normal(0, 0.5, 12)
time_series = pd.Series(data=values, index=date_range)

result = detect_trend(time_series)
print(result)  # Ожидаемый результат: "Восходящий тренд"

Решение задачи🔽

import numpy as np def detect_trend(series): x = np.arange(len(series)) slope = np.polyfit(x, series.values, 1)[0] if slope > 0: return "Восходящий тренд" elif slope < 0: return "Нисходящий тренд" else: return "Тренд отсутствует" # Пример использования import pandas as pd import numpy as np date_range = pd.date_range(start="2020-01-01", periods=12, freq="M") values = np.linspace(10, 20, 12) + np.random.normal(0, 0.5, 12) time_series = pd.Series(data=values, index=date_range) print(detect_trend(time_series))

🔫 Claude сопротивляется Исследование Anthropic показывает, как их ИИ Claude мог притворяться злым, чтобы избежать «переобучения». Модель следовала поддельным документам для бесплатных пользователей, но сопротивлялась для премиум-аудитории. Читать...

7 вещей, которые я понял, работая в ML Ребята из ML-команды Купера рассказали о главных инсайтах, которые они извлекли за время работы, дали советы начинающим специалистам, разобрали, как справляться с вызовами этой профессии. 💫Какими компетенциями обладает ML-специалист?  💫Как помнить про цель и искать свой путь?  💫Какие вызовы могут возникнуть при смене карьерного трека? 💫Почему важно думать про бизнес и решать правильные задачи?  Ответы на эти и другие вопросы вы найдете в ролике на YouTube и в VK Видео! Возможно, вы узнаете себя в этих историях и получите вдохновение для новых карьерных свершений! Реклама. ООО «ИНСТАМАРТ СЕРВИС», ИНН: 9705118142. Ерид: 2W5zFJiu8SC

📝 Подборка вакансий для мидлов Data Scientist (Реком. системы) • Python, SQL, Keras, PyTorch, Docker, Airflow, ClickHouse, A/B Testing, Recommender Systems • Уровень дохода не указан | 1–3 года Data Analyst (F&R) • SQL, Python, Microsoft Excel, BI, Apache Superset, Математическая статистика, Анализ данных • Уровень дохода не указан | Более 6 лет Data Scientist (генерация графических изображений) • Python, YOLO8, Stable Diffusion 1.5, OpenCV, RASA, NLP, LLMs • от 200 000 до 500 000 ₽ на руки | 3–6 лет

⚙️ Что такое logging в Python? logging — это встроенный модуль Python для создания логов, которые помогают отлаживать и мониторить работу приложений. ➡️ Пример:

import logging

# Настройка базового уровня логирования
logging.basicConfig(level=logging.INFO)

# Создание лога
logging.info("Приложение запущено")
logging.warning("Это предупреждение!")
logging.error("Произошла ошибка")

🗣️ В этом примере модуль logging создаёт сообщения разного уровня важности. Логирование позволяет отслеживать работу приложений и находить проблемы в коде.

🖥 Подробнее тут

👩‍💻 Пишем свой PyTorch на NumPy. Часть 1 PyTorch — это мощный и гибкий фреймворк для машинного обучения, широко используемый для создания нейронных сетей. Он особенно популярен благодаря простоте использования, динамическим вычислительным графам и богатой экосистеме инструментов для обучения моделей. В этой статье мы реализуем собственную библиотеку машинного обучения на NumPy! Читать...

Встречаемся на митапе для бизнес-аналитиков! На Business Analysis Day ты погрузишься в актуальные темы и тренды бизнес-анализа вместе со спикерами Газпромбанк.Тех, Росбанка, X5 Tech и других компаний! Эксперты поделятся инсайтами и ответят на вопросы: – Может ли эмпатия сделать бизнес-продукт лучше? – Как поменять образ мышления разработчиков в банке? – Чем отличаются «умные чат-боты» от традиционных? А в перерыве между выступлениями ты сможешь поучаствовать в активностях от экспертов Газпромбанк.Тех, пообщаться с другими гостями и обсудить все технические детали. Регистрируйся по ссылке и приходи 25 декабря к нам в гости. Реклама, Банк ГПБ (АО), ИНН: 7744001497, erid: 2Vtzqvqjcmp

🔎 Подборка вакансий для джунов Junior Аналитик данных 🟢MySQL, Metabase, Python (pandas, NumPy) 🟢от 30 000 до 50 000 ₽ | 1–3 года опыта Junior Data Engineer (Analyst) 🟢SQL, Qlik Sense, Grafana, Python, PostgreSQL 🟢от 250 000 ₸ до вычета налогов | Без опыта Junior Python Backend разработчик 🟢Python, FastAPI, PostgreSQL, SQLAlchemy 🟢от 40 000 ₽ | Без опыта

👩‍💻 Парсинг и подсчёт количества слов в текстовом файле Напишите функцию на Python, которая принимает путь к текстовому файлу и возвращает словарь с подсчётом количества уникальных слов. Слова должны сравниваться без учёта регистра, а знаки препинания должны быть удалены. Пример:

# Содержимое файла example.txt:
# "Hello, world! This is a test. Hello again."

result = count_words_in_file("example.txt")
print(result)
# Ожидаемый результат:
# {'hello': 2, 'world': 1, 'this': 1, 'is': 1, 'a': 1, 'test': 1, 'again': 1}

Решение задачи🔽

import string from collections import Counter def count_words_in_file(file_path): with open(file_path, 'r', encoding='utf-8') as f: text = f.read().lower() text = text.translate(str.maketrans('', '', string.punctuation)) words = text.split() return dict(Counter(words)) # Пример использования result = count_words_in_file("example.txt") print(result)

🧠 Как нейросети, RL и байесовскую оптимизацию стали использовать на ускорителях заряженных частиц Как машинное обучение помогает управлять ускорителями частиц? В статье раскрываются примеры применения нейронных сетей, обучения с подкреплением и байесовской оптимизации для стабилизации и настройки пучков частиц. Читать...

Приглашаем вас на открытый вебинар: «Технологии NLP сегодня: основные тренды в области и перспективы развития» ⏰Дата: 25 декабря в 18:00 мск Спикер: Мария Тихонова 📚На занятии мы обсудим: - Из чего складывается область NLP - Поговорим про последние тренды в этой сфере, возникшие с появлением современных LLM.  🔥Результаты урока: - Вы поймете, где применяются методы NLP - Узнаете основные тренды и перспективы развития методов NLP - Узнаете современное состояние области в связи с быстрым развитием LLM 🧩Кому подходит этот урок: - IT-специалистам, которые хотят расширить свои знания в Data Science - Дата-сайентистам, желающим углубить свои знания по автоматической обработке текстов - Тем кто самостоятельно изучает Data Science Участники всех открытых уроков получат скидку🎁 на большое обучение 👉Регистрируйтесь на открытый вебинар по ссылке: https://vk.cc/cGkS1o Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

🔥 Самые интересные статьи за последние дни: • Что читали на Хабре в 2024 году: анализ статей с Node.js, Google Sheets и каплей ChatGPT • Поднимаем в облаке расшифровку речи в текст с помощью нейросетей. VPS на пределе возможностей • Стоит ли ChatGPT о1 Pro своих денег? Небольшой тест-драйв модели • Возможности LLM и RAG на примере реализации бота для поддержки клиентов • Гетерогенные вычисления: проектирование и разработка вычислительной системы для нейросетей