Data Science | Machinelearning [ru]

⚙️ Что такое генераторы в Python и зачем они нужны? Генераторы — это функции в Python, которые возвращают значения по одному с помощью ключевого слова yield, вместо полного возврата всех значений сразу. Они полезны для работы с большими объемами данных, так как сохраняют память, генерируя значения на лету. ➡️ Пример:

# Генератор для получения первых N чисел Фибоначчи
def fibonacci(n):
    a, b = 0, 1
    for _ in range(n):
        yield a
        a, b = b, a + b

# Используем генератор
for num in fibonacci(5):
    print(num)

# Вывод: 0, 1, 1, 2, 3

🗣️ В этом примере генератор fibonacci вычисляет числа по запросу, вместо сохранения всех значений в памяти. Это делает генераторы особенно удобными для работы с потоками данных или бесконечными последовательностями.

🖥 Подробнее тут

🤔 Размер имеет значение: как исторические данные помогают на этапе дизайна A/B-теста Статья изучает применение метода CUPED в A/B-тестах для повышения чувствительности и сокращения выборок. Рассматривается его использование на этапе дизайна эксперимента без потери статистической мощности. Читать...

Искусственный интеллект — будущее, которое уже наступило. Компании и государства активно инвестируют в развитие ИИ, делая навыки в этой сфере одними из самых востребованных. А Deep Learning и Computer Vision — две ключевые технологии, которые лежат в основе современных AI-решений. Это основа, так сказать база, based. Приходите на бесплатный онлайн-вебинар от Karpov Courses, чтобы в дружеской атмосфере познакомиться с Deep Learning и Computer Vision, понять, как стартовать в профессии инженера глубокого обучения и какие задачи вас ждут — всё это на реальных примерах, которые можно решить с помощью нейросетей. Вебинар пройдет 27 марта в 19:00 мск: https://clc.to/P2LoVw

🔎 Подборка вакансий для джунов Data Scientist в области языковых моделей (Junior) 🟢Python, pandas, numpy, matplotlib, transformers, Hugging Face 🟢от 247 000 ₽ | 1–3 года​ Junior analyst/Младший аналитик 🟢Google Analytics, Google Tag Manager, Data Studio, SQL 🟢от 90 000 до 100 000 ₽ | 1–3 года​ Младший аналитик данных 🟢Python (pandas), Google Sheets, Google Colab, GitHub, API 🟢от 30 000 до 40 000 ₽ | Без опыта

IT_ONE Cup. ML Challenge от IT_ONE и Sk FinTech Hub Создай AI-ассистента, который будет помогать в работе дизайнерам, системным и бизнес-аналитикам. Участвуй онлайн с 12 по 29 апреля и поборись за 1 500 000 рублей. Регистрация открыта до 11 апреля: https://cnrlink.com/itonecupmldevsp Твоя формула победы: ✅ Умеешь работать с готовыми моделями машинного обучения и адаптировать их под специфические задачи. ✅ Знаешь, как реализовать сложные системы на базе LLM и генеративных моделей. ✅ Готов создавать комплексные решения для автоматизации процессов.  Также приглашаем Backend и Frontend-разработчиков, системных и бизнес-аналитиков, UI/UX-дизайнеров. Участвуй онлайн соло или командой до 5 человек.  Задачи IT_ONE Cup. ML Challenge: 🔤 Динамические контекстные подсказки для системного аналитика. 🔤 AI-генератор дизайн-макетов по описанию требований. 🔤 Система визуализации BPMN-диаграмм. 4 апреля приходи на митап с экспертами соревнования — задай вопросы и узнай больше о задачах.  Создай AI-ассистента, который облегчит выполнение рабочих задач — регистрируйся на IT_ONE Cup. ML Challenge: https://cnrlink.com/itonecupmldataportal

⚙️ Как я учился писать промпты для RAG пайплайна. Разбор 3-го места на AI Journey 24 E-com AI assistant Статья описывает опыт создания RAG-пайплайна с использованием Gigachat API для участия в AI Journey. Автор делится инсайтами, полученными в процессе разработки ассистента для рекомендаций товаров, который занял 3-е место. Читать...

⚡ Мы подготовили для вас эксклюзивную подборку экспертных материалов по IT и HR! 📂 Внутри папки вас ждет: 🟠AI-HR-агент - помогает сделать крутую вакансию, проанализировать кандидатов, провести собеседование и подготовить подходящий под кандидата оффер. 🟠Владеет ли интервьюер достаточными навыками, чтобы оценить уровень владения ЛЛМ соискателем? Чек лист для интервьюера... 🟠Как провести исследования, когда ресурсов не хватает? 🟠И еще 40 полезных статей, которые прокачают ваши навыки, помогут трудоустроиться. 🔗 А сегодня делимся с вами статьей: «ИИ в Крипто-Торговле: Возможен ли Успех?». 🤝 Сохраняйте папку «IT & HR», изучайте материалы и выходите на новый уровень! Ссылка на папку: https://t.me/addlist/nwOCtnp4eIJmOTUy

🔥 Самые интересные статьи за последние дни: • Разбей и властвуй: как создать кастомный токенизатор в SpaCy • Функция property() в Python: добавляем управляемые атрибуты в классы • Что, если не трансформеры: какие альтернативы главной архитектуре нейросетей у нас есть в 2024 году • cgroups и namespaces в Linux: как это работает? • ML-тренды рекомендательных технологий: шесть приёмов, которые помогают угадывать желания пользователя

👩‍💻 Задачка по Python Напишите функцию, которая принимает текст и возвращает наиболее часто встречающееся слово. Игнорируйте регистр и знаки препинания. ➡️ Пример:

text = "Data science is fun. Science makes data fun, and data makes science better."
print(most_frequent_word(text))  
# Ожидаемый результат: "data"

Решение задачи ⬇️

import re from collections import Counter def most_frequent_word(text): # Убираем знаки препинания и приводим текст к нижнему регистру words = re.findall(r'\b\w+\b', text.lower()) # Подсчитываем частоту слов word_counts = Counter(words) # Возвращаем слово с максимальной частотой return word_counts.most_common(1)[0][0] # Пример использования: text = "Data science is fun. Science makes data fun, and data makes science better." print(most_frequent_word(text))

📊 ИИ в Крипто-Торговле: Возможен ли Успех? Статья описывает процесс создания успешных ИИ-моделей для автоматизированной крипто-торговли на ByBit. Рассматриваются три стратегии, их разработка, оптимизация и результаты, превысившие убытки. Читать...

🔎 Подборка зарубежных вакансий Team Lead Data Scientist 🟢Python, SQL, Machine Learning, Big Data 🟢от 5 000 до 7 250 $ | более 6 лет Аналитик данных (Data Analyst) 🟢SQL, Yandex DataLens, Tableau, Power BI 🟢от 150 000 до 200 000 ₽ | 1–3 года Junior Marketplace Researcher/Team Assistant 🟢Google Sheets, English (basic), Data Analysis 🟢500 $ | Без опыта

🧠 Задачи быстрее решаются на бумаге Залип на архитектуре или не можешь построить логическую цепочку? Иногда монитор — не лучший инструмент. 👉 Совет: возьми ручку и лист. Нарисуй схему, напиши шаги алгоритма, обозначь зависимости. Физическое взаимодействие с задачей включает другие области мозга и часто помогает увидеть то, что ускользает на экране. Старый трюк, который работает всегда.

🔥 Дообучаем языковую модель GPT2 с помощью Torch Статья углубляется в дообучение языковых моделей, используя DistilGPT2 на данных QuyenAnhDE/Diseases_Symptoms. Рассматривается процесс настройки модели для генерации симптомов на основе заболеваний, с возможностью расширения логики. Читать...

✔️ Big Data мертвы, да здравствуют Smart Data Давайте рассмотрим концепцию Smart Data и выясним, действительно ли Big Data превращаются во что-то более интеллектуальное. Читать...

⚙️ Что такое декораторы в Python и как они работают? Декораторы — это функции в Python, которые принимают другую функцию в качестве аргумента и возвращают новую функцию с добавленным поведением. Это удобный способ модификации или расширения функциональности без изменения исходного кода функции. ➡️ Пример:

# Декоратор для логирования вызовов функции
def log_call(func):
    def wrapper(*args, **kwargs):
        print(f"Вызов функции {func.__name__} с аргументами: {args}, {kwargs}")
        result = func(*args, **kwargs)
        print(f"Результат: {result}")
        return result
    return wrapper

# Применение декоратора
@log_call
def add(a, b):
    return a + b

add(3, 5)

🗣️ В этом примере декоратор log_call добавляет логирование вызовов и результатов функции add. Декораторы позволяют делать код более модульным и удобным для повторного использования.

🖥 Подробнее тут

⚙️ Инфраструктура для Data-Engineer BI-tools В этой статье я хотел бы показать куда уходят данные и что с ними происходит, когда пайплайны дата-инженеров заканчивают работу. Читать...

🤖 Новые тренды среди последних LLM 🗓 24 марта в 18:00 МСК 🆓 Бесплатно. Урок в рамках старта курса «NLP / Natural Language Processing». LLM и трансформерные модели такие как ChatGPT, GPT4, GigaChat стали не только стандартом в области языкового моделирования, но и незаменимыми помощниками для решения огромного числа задач: от написания кода, до генерации сказок. На вебинаре мы расскажем про последние тренды в этой области: чего уже достигли современные LLM сегодня и что нас ждет в ближайшем будущем. Данный открытый урок будет особенно интересен: - IT-специалистам, которые хотят расширить свои знания в Data Science - Дата-сайентистам, желающим углубить свои знания по автоматической обработке текстов - Тем кто самостоятельно изучает Data Science В результате вебинара вы: - поймете основные технологии за современными LLM сегодня - узнаете про основные тренды в области больших языковых моделей - узнаете, что ждет область LLM в ближайшие годы 🔗 Ссылка на регистрацию: https://vk.cc/cJUFSY Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, erid: 2VtzqxJXghW

📈 Подборка статей для вашей карьеры • Больше чем книга • Как поставить цель на обучение, чтобы дойти до конца • Движение вверх: как стать CTO — на примере пяти историй ИТ-директоров • Найм дизайнеров глазами лида • Software Architect vs Solution Architect

📝 Подборка вакансий для сеньоров Product Analyst • SQL, Amplitude, Анализ данных, Веб-аналитика • от 2 000 $ | более 3 лет Дата инженер • Python, Apache Hadoop, Apache Spark, Apache Airflow, Apache Kafka • Уровень дохода не указан | от 2–3 лет Senior Data Scientist в команду ценообразования • Python, SQL • Уровень дохода не указан | от 3 лет

🚀 Качайте английский за счёт компании для работы в IT! 🌍 Хотите выйти на международный уровень в сфере разработки, аналитики, проектного управления или дата-сайенса? Яндекс Практикум предлагает курсы, которые помогут уверенно общаться на английском языке в профессиональной среде: ✅ Вместо зубрёжки — симуляции интервью, рабочих созвонов и даже смолтока возле кулера ✅ Вас ждут встречи с иностранными IT‑специалистами и много разговорной практики ✅ Мы взяли за основу опыт работы Яндекса с международными партнёрами, чтобы вы освоили навыки, которые ценят зарубежные работодатели ✅ Поможем эффективно совмещать учёбу с работой ✅ Выдадим сертификат об окончании курса 👉 Курс может оплатить ваш работодатель, заполните форму, расскажем, как это устроено. Реклама, АНО ДПО “Образовательные технологии Яндекса”, ИНН 7704282033, erid: 2Vtzqwp8UPz