Data Science | Machinelearning [ru]

📢 Делай демо своих решений Закрыл задачу, но никто не понимает, насколько крутое решение ты сделал? Это минус не только для команды, но и для твоей репутации. 👉 Совет: каждую значимую доработку презентуй команде. Покажи, как работает функционал, объясни, почему выбрал этот подход. Это не только помогает коллегам разобраться, но и показывает твой вклад в общий результат.

🔥 Дообучаем языковую модель GPT2 с помощью Torch Статья углубляется в дообучение языковых моделей, используя DistilGPT2 на данных QuyenAnhDE/Diseases_Symptoms. Рассматривается процесс настройки модели для генерации симптомов на основе заболеваний, с возможностью расширения логики. Читать...

Разбираем тестовое задание на позицию Junior Аналитика в Яндекс. Чтобы найти работу, мало пройти курс и сделать классное резюме. На практике, чтобы выделиться на собеседовании, нужно понимать, что лежит под капотом каждого инструмента, а не следовать конкретному заученному алгоритму. Чтобы попрактиковаться в этом, приходите на бесплатный вебинар, где будем разбирать реальное тестовое задание, которое дают аналитикам в подразделении Яндекс Картинки. Что будет на вебинаре: 🟠С помощью Python решим рутинные задачи - разархивировать файлы, прочитать большой json и т.д. 🟠С помощью Pandas проанализируем поисковые запросы Яндекс.Картинок 🟠С помощью Plotly построим интерактивные графики и сделаем выводы 🟠Найдем статистически значимую разницу в поведении пользователей на разных устройствах Вебинар проведет Андрон Алексанян, CEO Simulative 🎁Обязательно приходите смотреть вебинар в прямом эфире - в лайве будут дарить подарки, которые сильно бустанут старт карьеры в аналитике! Зарегистрироваться на бесплатный вебинар

⚙️ Инфраструктура для Data-Engineer BI-tools В этой статье я хотел бы показать куда уходят данные и что с ними происходит, когда пайплайны дата-инженеров заканчивают работу. Читать...

⚙️ Что такое декораторы в Python и как они работают? Декораторы — это функции в Python, которые принимают другую функцию в качестве аргумента и возвращают новую функцию с добавленным поведением. Это удобный способ модификации или расширения функциональности без изменения исходного кода функции. ➡️ Пример:

# Декоратор для логирования вызовов функции
def log_call(func):
    def wrapper(*args, **kwargs):
        print(f"Вызов функции {func.__name__} с аргументами: {args}, {kwargs}")
        result = func(*args, **kwargs)
        print(f"Результат: {result}")
        return result
    return wrapper

# Применение декоратора
@log_call
def add(a, b):
    return a + b

add(3, 5)

🗣️ В этом примере декоратор log_call добавляет логирование вызовов и результатов функции add. Декораторы позволяют делать код более модульным и удобным для повторного использования.

🖥 Подробнее тут

⚙️ Умножение троичных матриц для нейросетей Статья исследует использование троичных значений (-1, 0, 1) в нейросетевых матрицах. Рассматриваются методы хранения тритов с использованием 32-битной арифметики и подходы к их быстрому умножению через оптимизацию памяти. Читать...

📈 Подборка статей для вашей карьеры • Пришёл на вакансию дизайнера, а стал питонистом: как IT-специалисты нашли свою первую работу • На сколько денег может рассчитывать ИТ-предприниматель в разных ветках развития • Анализ задачи с собеседования в Google: конь и телефонные кнопки • Быстрый старт в QA Fullstack: чем вооружиться будущему стажеру в Альфа-Банке • Как убить самоорганизацию в команде: вредные советы для лидера

📝 Подборка вакансий для сеньоров Data Engineer • Python, SQL, Apache Airflow, Greenplum, Apache Spark • от 250 000 ₽ на руки | 1–3 года Senior Data Scientist (FinTech) • Python, Pandas, NumPy, SciKit-Learn, PyTorch, TensorFlow, SQL, Теорвер и матстат • от 300 000 ₽ на руки | Более 6 лет Senior Data Engineer • Apache Hadoop, Spark (batch/streaming), Scala, SQL, Parquet, Hive, Kafka, HBase, ClickHouse, PostgreSQL, Airflow, Zeppelin, Jupyter, S3 MinIO • Уровень дохода не указан | от 5 лет

⚙️ Машинное обучение: Наивный байесовский классификатор. Теория и реализация. С нуля Статья описывает три основные разновидности наивного байесовского классификатора: мультиномиальный, гауссовский и бернулли. Рассмотрены их теоретические основы, особенности и примеры реализации. Читать...

📝 Подборка вакансий для мидлов Data-аналитик • SQL, Tableau, Amplitude, PostgreSQL • от 200 000 до 300 000 ₽ на руки | 1–3 года Data Scientist (генерация графических изображений) • Python, YOLO8, Stable Diffusion 1.5, OpenCV, RASA, NLP, LLMs • от 200 000 до 500 000 ₽ на руки | 3–6 лет Data Scientist (модели PD) • Python, SQL, Machine Learning, A/B Testing, Risk Modeling • Уровень дохода не указан | 3–6 лет

⚙️ Что такое @staticmethod и @classmethod в Python, и чем они отличаются? Декораторы @staticmethod и @classmethod используются для создания методов, которые не требуют экземпляра класса. @staticmethod — это метод, который не зависит от экземпляра или самого класса, а @classmethod получает доступ к самому классу через первый параметр cls. ➡️ Пример:

class MyClass:
    @staticmethod
    def static_method():
        return "Это статический метод"

    @classmethod
    def class_method(cls):
        return f"Это метод класса {cls.__name__}"

# Использование
print(MyClass.static_method())  # Это статический метод
print(MyClass.class_method())   # Это метод класса MyClass

🗣️ В этом примере static_method ничего не знает о классе, в то время как class_method может взаимодействовать с классом, к которому он принадлежит. Используйте их в зависимости от того, нужно ли вам взаимодействие с классом.

🖥 Подробнее тут

⚙️ Пишем свою Diffusion модель с нуля Статья предлагает разобраться в устройстве Diffusion моделей, их математике и принципах работы. Автор делится простыми объяснениями, примерами кода и результатами генерации изображений на собственной модели. Читать...

📝 Подборка вакансий для джунов Младший аналитик • Python, SQL, Microsoft Excel, Анализ данных, Машинное обучение, Нейронные сети • от 130 000 ₽ на руки | 1–3 года Консультант-аналитик [ССД Oracle] • SQL, Oracle, Английский язык, Аналитика, Системное тестирование • Уровень дохода не указан | 1–3 года Инженер данных/Data Engineer в Управление анализа данных • SQL, Apache Hadoop, Bitbucket, Jira, Confluence • Уровень дохода не указан | 1–3 года

👩‍💻 Задачка по Python Напишите функцию, которая принимает текст и возвращает наиболее часто встречающееся слово. Игнорируйте регистр и знаки препинания. ➡️ Пример:

text = "Data science is fun. Science makes data fun, and data makes science better."
print(most_frequent_word(text))  
# Ожидаемый результат: "data"

Решение задачи ⬇️

import re from collections import Counter def most_frequent_word(text): # Убираем знаки препинания и приводим текст к нижнему регистру words = re.findall(r'\b\w+\b', text.lower()) # Подсчитываем частоту слов word_counts = Counter(words) # Возвращаем слово с максимальной частотой return word_counts.most_common(1)[0][0] # Пример использования: text = "Data science is fun. Science makes data fun, and data makes science better." print(most_frequent_word(text))

✔️ Big Data мертвы, да здравствуют Smart Data Давайте рассмотрим концепцию Smart Data и выясним, действительно ли Big Data превращаются во что-то более интеллектуальное. Читать...

🔥 Самые интересные статьи за последние дни: • о3 теснит программистов? Как OpenAI снова всех удивила • ChatGPT без VPN за 10 минут (и установка нативного приложения) • AI, который всё за нас решит • Второе пришествие мейнфреймов. Всё больше компаний хотят запускать ИИ у себя в офисе • Обзор на разнообразные интерфейсы Stable Diffusion. Automatic1111 — не одинок

👩‍💻 Генератор случайных паролей с настройками Напишите функцию, которая генерирует случайный пароль заданной длины. Пароль должен быть сформирован на основе пользовательских требований: • Использовать ли цифры. • Использовать ли буквы верхнего и/или нижнего регистра. • Использовать ли специальные символы. ➡️ Пример:

password = generate_password(length=12, use_digits=True, use_uppercase=True, use_lowercase=True, use_specials=False)
print(password)
# Пример вывода: A1b2C3d4E5f6

Решение задачи🔽

import random import string def generate_password(length, use_digits=True, use_uppercase=True, use_lowercase=True, use_specials=True): if length < 1: raise ValueError("Длина пароля должна быть больше 0") # Формируем набор символов character_pool = "" if use_digits: character_pool += string.digits if use_uppercase: character_pool += string.ascii_uppercase if use_lowercase: character_pool += string.ascii_lowercase if use_specials: character_pool += "!@#$%^&*()-_=+[]{}|;:,.<>?/" if not character_pool: raise ValueError("Нужно выбрать хотя бы один тип символов") # Генерация пароля return ''.join(random.choice(character_pool) for _ in range(length)) # Пример использования password = generate_password(length=12, use_digits=True, use_uppercase=True, use_lowercase=True, use_specials=True) print(password)

➡️ Будущее LLM в XS, S, M и других размерах В статье обсуждаются подходы к обучению ИИ оптимально использовать свои ресурсы: от минимальной мощности для простых задач до максимума для сложных. Разбираем концепции «я не знаю» и запросов помощи. Читать...

🔎 Подборка зарубежных вакансий Python developer в ML 🟢Python, PyTorch, FastAPI 🟢Уровень дохода не указан | 3–6 лет Ai Specialist 🟢Python, Java, C++, TensorFlow, Keras, PyTorch, Excel, Tableau 🟢Уровень дохода не указан | 3–6 лет Senior QA Engineer (Server Team) 🟢Python, Тестирование, Тестирование back-end, API 🟢Уровень дохода не указан | 3–6 лет

Уголок AI-энтузиастов от Сбера 🤖 Sber AI Lab — центр экспертизы Сбера в области искусственного интеллекта и активный участник глобального научного комьюнити. ✅ Команда создаёт полезные алгоритмы, фреймворки и технологии в разных сферах: от банкинга до медицины. ✅ Топ по количеству научных статей на A*/A конференции и Q1 журналы в Сбере ✅ Среди open-source решений лаборатории ИИ: LightAutoML (победитель Kaggle Grand Prix 2024), RePlay, pytorch-lifestream, eco2ai и другие инструменты. Узнать больше о решениях можно на GitHub. Ты можешь стать частью нашей команды и сделать свой вклад в развитие AI-проектов в интересных тебе направлениях тут.