Data Science | Machinelearning [ru]

💡 Хакатон «Норникеля» «Интеллектуальные горизонты»: стартуем на поиски инноваций! Погружайся в кейсы от «Норникеля» и решай задачу по одному из трех треков: от анализа данных до автоматизации, от экологического мониторинга до создания алгоритмов, которые могут изменить правила игры в индустрии. Когда: 6 - 8 декабря. Формат: онлайн. Призовой фонд: 1 500 000 рублей. 🧑‍💻 Разработчики, аналитики, инженеры и любители новаторских решений смогут применить свои знания, чтобы придумать решения для реальных задач в промышленности. Хакатон «Норникеля» «Интеллектуальные горизонты» — это отличный шанс показать свои идеи, повлиять на промышленность и найти новых единомышленников.  Если нет команды — поможем её собрать! ➡️ Регистрация открыта! Успей зарегистрироваться до 2 декабря, 23:59 МСК по ссылке.

👩‍💻 Задачка по Python Напишите функцию, которая принимает DataFrame и возвращает имена двух столбцов с наибольшей положительной корреляцией. ➡️ Пример:

data = pd.DataFrame({
    'A': [1, 2, 3, 4],
    'B': [2, 4, 6, 8],
    'C': [1, 0, 1, 0],
    'D': [10, 20, 30, 40]
})

print(find_highest_correlation(data))  
# Ожидаемый результат: ('B', 'D')

Решение задачи ⬇️

def find_highest_correlation(df): corr_matrix = df.corr() max_corr = 0 columns = (None, None) for col1 in corr_matrix.columns: for col2 in corr_matrix.columns: if col1 != col2 and corr_matrix[col1][col2] > max_corr: max_corr = corr_matrix[col1][col2] columns = (col1, col2) return columns # Пример использования: import pandas as pd data = pd.DataFrame({ 'A': [1, 2, 3, 4], 'B': [2, 4, 6, 8], 'C': [1, 0, 1, 0], 'D': [10, 20, 30, 40] }) print(find_highest_correlation(data)) # Ожидаемый результат: ('B', 'D')

⚙️ Как я учился писать промпты для RAG пайплайна. Разбор 3-го места на AI Journey 24 E-com AI assistant Статья описывает опыт создания RAG-пайплайна с использованием Gigachat API для участия в AI Journey. Автор делится инсайтами, полученными в процессе разработки ассистента для рекомендаций товаров, который занял 3-е место. Читать...

⚡️Всероссийский Хакатон ФИЦ 2024 🚀Попробуйте себя в одном из предложенных кейсов: 1. Семантический делитель текстов: Разработать алгоритм, который сможет обеспечить точное разделение текста на блоки. 2. Контекстный перевод названий научных работ: Разработать переводчик, который будет переводить названия научных работ. 3. Прогнозирование бизнес драйверов: Разработать решение для задачи прогнозирования временных рядов бизнес-драйверов. 4. Система контроля и управления доступом: Разработка системы контроля и управления доступом. И др. 16 кейсов смотрите на сайте: https://фиц2024.рф/hackathon  Хакатон пройдет в 2 этапа: Отборочный этап в Онлайн, Финал в Офлайн. 🏆Призовой фонд: 6 000 000 руб. 🔥Дедлайн регистрации: 26 ноября, 23:59 📅Даты отборочного этапа: 29 ноября - 2 декабря 🦾Даты финала: 3 - 4 декабря Зарегистрируйтесь для участия в хакатоне: https://фиц2024.рф/hackathon #реклама О рекламодателе

📝 Подборка вакансий для мидлов Data Scientist • Python, SQL, MS SQL Server, PostgreSQL, A/B тестирование, ML-модели, Ad-Hoc аналитика • Уровень дохода не указан | Средний (Middle) Data Scientist (Моделирование РБ) • Python, Spark, SQL, ML, DL, NLP, Apache Spark • Уровень дохода не указан | Средний (Middle) ML Engineer / Инженер машинного обучения • Python, PyTorch, PostgreSQL, FastAPI, LLM, MLOps, Git, Docker, AirFlow • Уровень дохода не указан | Средний (Middle) Python разработчик • Python, FastAPI, PostgreSQL, React • от 150 000 ₽ | Средний (Middle) Python разработчик • Python, Flask, FastAPI, PostgreSQL, MySQL • Уровень дохода не указан | Средний (Middle)

⚙️ Что такое @staticmethod и @classmethod в Python, и чем они отличаются? Декораторы @staticmethod и @classmethod используются для создания методов, которые не требуют экземпляра класса. @staticmethod — это метод, который не зависит от экземпляра или самого класса, а @classmethod получает доступ к самому классу через первый параметр cls. ➡️ Пример:

class MyClass:
    @staticmethod
    def static_method():
        return "Это статический метод"

    @classmethod
    def class_method(cls):
        return f"Это метод класса {cls.__name__}"

# Использование
print(MyClass.static_method())  # Это статический метод
print(MyClass.class_method())   # Это метод класса MyClass

🗣️ В этом примере static_method ничего не знает о классе, в то время как class_method может взаимодействовать с классом, к которому он принадлежит. Используйте их в зависимости от того, нужно ли вам взаимодействие с классом.

🖥 Подробнее тут

📊 ИИ в Крипто-Торговле: Возможен ли Успех? Статья описывает процесс создания успешных ИИ-моделей для автоматизированной крипто-торговли на ByBit. Рассматриваются три стратегии, их разработка, оптимизация и результаты, превысившие убытки. Читать...

🏁 Python разрабатывает API, как спорткар🏎 разгоняется до сотни — с FastAPI всё быстро, надёжно и элегантно 🏁 🛠 Если вам нужны инструменты для создания веб-приложений, которые не тормозят, не тратят лишних ресурсов и готовы к продакшену — ждём вас 26 ноября в 20:00 мск на бесплатном открытом уроке, где мы разберём, как FastAPI переворачивает мир разработки API. Узнаете всё: от маршрутизации до работы с базами данных и асинхронного программирования. А еще покажем, как создать простое API буквально за пару минут. FastAPI — это не только скорость, но и простота в использовании. А для тех, кто хочет глубже нырнуть в разработку с Python, будет скидка на курс «Python Developer. Professional». 🔥Спикер Валентин Шилин — старший программист с опытом более 15 лет на С++, С#, JavaScript, Python, Scala, Java; аналитик данных; эксперт в обработке больших данных с помощью Scala/Spark и Hadoop Cloudera. 🔴 Зарегистрируйтесь прямо сейчас: https://vk.cc/cEWkgV Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

🔎 Подборка вакансий для джунов Junior разработчик Python/Стажер (удаленно) 🟢Python, MongoDB, REST API, Bash, Linux, Git, FastAPI, Celery 🟢до 50 000 ₽ | 1–3 года Младший инженер-программист (стажер) 🟢Python, JavaScript, API, Linux, Docker, IoT, Сетевые технологии, Базы данных 🟢Уровень дохода не указан | Без опыта Junior Python developer 🟢Python, SQL, FastAPI, Aiohttp, PostgreSQL, MySQL, Docker, RabbitMQ, Kafka, SQLAlchemy 🟢Уровень дохода не указан | 1–3 года Junior Data Analyst / Младший Аналитик 🟢SQL, Python, Power BI, Исследовательский анализ данных, Визуализация данных, Математическая статистика, Аналитика продаж, Бизнес-анализ 🟢от 70 000 до 100 000 ₽ | 1–3 года Младший аналитик данных/Junior Data Analyst 🟢PostgreSQL, Airflow, Metabase, Clickhouse, Debezium, DataLens, SQL, Python 🟢Уровень дохода не указан | 1–3 года

👩‍💻 Задачка по Python Напишите функцию, которая принимает текст и возвращает наиболее часто встречающееся слово. Игнорируйте регистр и знаки препинания. ➡️ Пример:

text = "Data science is fun. Science makes data fun, and data makes science better."
print(most_frequent_word(text))  
# Ожидаемый результат: "data"

Решение задачи ⬇️

import re from collections import Counter def most_frequent_word(text): # Убираем знаки препинания и приводим текст к нижнему регистру words = re.findall(r'\b\w+\b', text.lower()) # Подсчитываем частоту слов word_counts = Counter(words) # Возвращаем слово с максимальной частотой return word_counts.most_common(1)[0][0] # Пример использования: text = "Data science is fun. Science makes data fun, and data makes science better." print(most_frequent_word(text))

🔥 Дообучаем языковую модель GPT2 с помощью Torch Статья углубляется в дообучение языковых моделей, используя DistilGPT2 на данных QuyenAnhDE/Diseases_Symptoms. Рассматривается процесс настройки модели для генерации симптомов на основе заболеваний, с возможностью расширения логики. Читать...

Почта на прокачку: как повысить защиту Microsoft Exchange и не слить чувствительные данные в сеть ⏰ Когда: 27 ноября, 11:00 по Москве 📍 Регистрируйтесь на вебинар! SuperHardio time*! Чтобы узнать, как захардкорить самое ценное и построить настоящий лабиринт для хакера, присоединяйтесь к нашему новому образовательному проекту от ИТ-экспертов  Positive Technologies.  В программе: -  Что не так с типовой настройкой Microsoft Exchange 2019 - Топ-3 сценария уязвимостей -  Как ИТ-специалисту справиться с  бременем ответственности за корректную работу почтового сервиса. -  Поговорим про харденинг Microsoft Exchange 2019 и особенности подхода к повышению киберустойчивости Вебинар будет полезен архитекторам, CIO, СТО, DevOps-экспертам и техническим специалистам разных профилей. Присоединяйтесь! *Это как "Марио тайм", время героев-экспертов харденинга

✔️ Big Data мертвы, да здравствуют Smart Data Давайте рассмотрим концепцию Smart Data и выясним, действительно ли Big Data превращаются во что-то более интеллектуальное. Читать...

👩‍💻 Задачка по Python Напишите функцию, которая принимает строку и возвращает новую строку, из которой удалены все гласные буквы (a, e, i, o, u в любом регистре). ➡️ Пример:

print(remove_vowels("Hello World"))  # Ожидаемый результат: "Hll Wrld"
print(remove_vowels("Python is great"))  # Ожидаемый результат: "Pythn s grt"

Решение задачи ⬇️

def remove_vowels(s): vowels = "aeiouAEIOU" return ''.join(char for char in s if char not in vowels) # Пример использования: print(remove_vowels("Hello World")) # Ожидаемый результат: "Hll Wrld" print(remove_vowels("Python is great")) # Ожидаемый результат: "Pythn s grt"

⚙️ Инфраструктура для Data-Engineer BI-tools В этой статье я хотел бы показать куда уходят данные и что с ними происходит, когда пайплайны дата-инженеров заканчивают работу. Читать...

🔎 Подборка зарубежных вакансий Продакт Разработчик Python AI (удаленно) 🟢Python, Node.js, React, PostgreSQL, JavaScript, TypeScript, Django Framework, Redux 🟢от 1 900 до 2 700 $ до вычета налогов | 3–6 лет QA automation team lead (Python) 🟢Python, QA, BDD, Selenium 🟢до 4 000 $ до вычета налогов | 3–6 лет Founding NLP/LLM/AI Engineer 🟢Python, LLM, NLP, AI, RAG, NER 🟢от 4 000 до 7 000 $ до вычета налогов | 3–6 лет Senior Python Developer 🟢Python, Flask, REST, API, JavaScript, MySQL, GitHub, Celery, Django, Linux, PHP, Java, Django Framework, Bash, Redis, Frontend, Backend, REST API, PostgreSQL, Unit Testing, jQuery, Ansible, Clickhouse, Gitlab, FastAPI, RestAPI, SQL, Git 🟢Уровень дохода не указан | 3–6 лет Senior DevOps Engineer 🟢Docker, Bash, Git, Английский язык, AWS, Kubernetes, Terraform, Jenkins, Gitlab, Grafana, ELK, Linux, Python 🟢от 6 000 до 7 000 $ на руки | более 6 лет

⚙️ Что такое декораторы в Python и как они работают? Декораторы — это функции в Python, которые принимают другую функцию в качестве аргумента и возвращают новую функцию с добавленным поведением. Это удобный способ модификации или расширения функциональности без изменения исходного кода функции. ➡️ Пример:

# Декоратор для логирования вызовов функции
def log_call(func):
    def wrapper(*args, **kwargs):
        print(f"Вызов функции {func.__name__} с аргументами: {args}, {kwargs}")
        result = func(*args, **kwargs)
        print(f"Результат: {result}")
        return result
    return wrapper

# Применение декоратора
@log_call
def add(a, b):
    return a + b

add(3, 5)

🗣️ В этом примере декоратор log_call добавляет логирование вызовов и результатов функции add. Декораторы позволяют делать код более модульным и удобным для повторного использования.

🖥 Подробнее тут

🤔 Прогнозирование продаж с использованием библиотеки Prophet Статья посвящена прогнозированию продаж FTTB-FMC для ежедневной отчетности. Рассматриваются подходы к анализу данных, ключевые KPI и методы, используемые для прогнозирования продаж в сегменте ШПД и конвергентных продуктов. Читать...

🔎 Подборка вакансий для лидов Python Lead 🟢Python 3, FastAPI, Django, Streamlit, Pandas, Numpy, SciPy, PostgreSQL, Apache Kafka 🟢Уровень дохода не указан | 3–6 лет Lead Python Developer 🟢Python, FastAPI 🟢Уровень дохода не указан | 3–6 лет Data Analyst Team Lead 🟢SQL (PostgreSQL, Clickhouse), Python, Tableau 🟢Уровень дохода не указан | более 6 лет Lead Data Engineer 🟢Scala, Python, SQL, ClickHouse, PostgreSQL, MySQL, Apache Spark, Apache Airflow, AWS S3, Kubernetes, Docker, GitLab CI, Tableau 🟢Уровень дохода не указан | более 6 лет Python Backend Developer (AI) 🟢Python, Flask, SQL, Docker, AWS, Azure, GCP, Yandex.Cloud 🟢от 250 000 ₽ на руки | 3–6 лет

🎓 Приглашаем вас на вебинар "Обучение с учителем: разбираем задачу классификации", который состоится 18.11.2024 в 18:00! 🕕 Занятие посвящено задачам классификации, которые востребованы во всех областях Data Science. На занятии обсудим, что представляет из себя этот тип задач, какие есть подходы для её решения, а также изучим алгоритм kNN и применим его на практике. 👉 В результате урока вы: - познакомитесь с таким классом задач, как классификация; - изучите метрики для задачи классификации; - узнаете, как устроен алгоритм kNN; - научитесь применять алгоритм kNN на практике. 🔥 Не упустите возможность углубить свои знания в области классификации и машинного обучения! 📊🤖 👉 Присоединяйтесь к нам: https://vk.cc/cEHdGr Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576