Data Science | Machinelearning [ru]

👩‍💻 Проверка, являются ли две строки анаграммами Напишите функцию, которая принимает две строки и проверяет, являются ли они анаграммами. Анаграммы — это слова, которые содержат одинаковые буквы в одинаковом количестве, но в разном порядке. Игнорируйте регистр и пробелы. Пример:

result1 = are_anagrams("listen", "silent")
print(result1)  # Ожидаемый результат: True

result2 = are_anagrams("hello", "world")
print(result2)  # Ожидаемый результат: False

Решение задачи🔽

def are_anagrams(str1, str2): # Удаляем пробелы и приводим к одному регистру str1 = ''.join(str1.lower().split()) str2 = ''.join(str2.lower().split()) # Проверяем, равны ли отсортированные символы return sorted(str1) == sorted(str2) # Пример использования: result1 = are_anagrams("listen", "silent") print(result1) # Ожидаемый результат: True result2 = are_anagrams("hello", "world") print(result2) # Ожидаемый результат: False

⚙️ Нейросетевой апскейлинг дома: вторая молодость для классических мультфильмов Статья рассказывает, как с помощью нейросетей улучшить качество старых видеозаписей, включая VHS и DVD. Описываются инструменты, процесс и результаты с примерами, доступные каждому без глубоких технических знаний. Читать...

📝 Подборка зарубежных вакансий Python Developer/Data Scientist • Python, Pandas, NumPy, NLP, TensorFlow, Keras, SQL, Git, Docker, NoSQL • от 5 500 $ | от 3 лет Database Administrator • ClickHouse, PostgreSQL, Python, Linux, Bash, LVM • до 5 000 $ | опыт не указан Python QA automation developer • Python, Linux, HTTP, TCP, CI/CD, DevOps • до 5 000 $ | опыт не указа

🕵️‍♂️ Держи код чистым Никогда не думал, что через пару недель сам не разберёшься в своём коде? А коллеги тем более. Это реальность, если писать быстро и «как получится». ✔️ Совет: трать 10 минут после завершения задачи, чтобы убрать мусор, оставить комментарии и структурировать код. Это спасёт и тебя, и тех, кто будет работать с ним после тебя.

⚙️ Пишем свою Diffusion модель с нуля Статья предлагает разобраться в устройстве Diffusion моделей, их математике и принципах работы. Автор делится простыми объяснениями, примерами кода и результатами генерации изображений на собственной модели. Читать...

Многие из вас знают, что ШАД - одна из сильнейших школ для подготовки специалистов по анализу данных Однако попасть в ШАД не так просто, нужно иметь сильную математическую базу и успешно пройти все этапы отбора. Shad Helper готовит студентов к поступлению в Школу Анализа Данных Яндекса, AI Masters и магистратуру по анализу данных. В школе в основном ведутся занятия по высшей математике и программированию. Все преподаватели кандидаты и доктора наук из МГУ, МФТИ, ВШЭ. 2 декабря 2024 года запускается новый поток подготовки к ШАД 💎Все преподаватели кандидаты и доктора наук из МГУ, МФТИ, ВШЭ 💎Есть система скидок за хорошую успеваемость 💎Длительность курса: ~6 месяцев 💎Оплата курса еженедельная (можно остановить обучение в любой момент) 💎Регулярные персонализированные домашние задания 💎Работа в мини-группах 💎Есть умный чат бот для студентов ( на базе gpt4) 🔗 Ссылка на телеграм @shadhelper 🎁 Для подписчиков канала скидка 30% на первоначальный взнос по промокоду DEVSP30 Реклама. ООО "Школа высшей математики". ИНН: 9728100991 erid: 2VtzqwmcPtb

📝 Подборка вакансий для лидов TeamLead Data Analyst • Python, DWH, ClickHouse • до 5 000 $ | от 3 лет Главный администратор данных (Chief Data Steward) [Governance] • Git, SQL, Apache Kafka, NoSQL, PostgreSQL • Уровень дохода не указан | опыт не указан Аналитик данных, senior/lead • SQL, Python, Apache Airflow, ETL, DWH • Уровень дохода не указан | от 3 лет Lead/Senior Automation QA (Python or Java) • Python, Linux, Java, CI/CD, Docker, Тестирование API, Тестирование UI, Разработка тест-кейсов • Уровень дохода не указан | от 4 лет Ведущий питонист • Python, Django, PostgreSQL, Docker • от 150 000 до 250 000 ₽ | опыт не указан

⚙️ Как обеспечить Data Quality терабайтов данных и зачем: опыт СИБУРа Статья посвящена опыту СИБУРа в создании DQ-сервиса для обеспечения качества данных. Рассматриваются задачи DQ, архитектура решения и универсальные подходы, применимые для анализа данных в крупных компаниях. Читать...

📈 Подборка статей для вашей карьеры • Мои Red-Flags при устройстве в IT-компании: Как не стать гребцом. Часть 2 • Как строить карьеру в корпорации • История: работа в чешском Red Hat • Циничные заметки о карьере в IT от «гейткипера» • Моя петиция EB-1A на грин-карту талантов, одобренная с первой попытки

Это — база по Machine Learning и Data Science, которая заменит вам сотни тг-каналов и сайтов. Фишка в том, что здесь опытные ML-специалисты первыми освещают новости сферы, пишут емкие разборы статей и делятся прикладными материалами. И канал – только часть клада: ребята сделали целый сайт с научными лонгридами, ML-соревнованиями и свежими вакансиями индустрии. Теперь вся жизнь ML-специалиста собрана в одном месте: Data Secrets

📝 Подборка вакансий для сеньоров Data engineer • SQL, Python, Apache Hadoop • Уровень дохода не указан | от 3 лет Data Engineer • SQL, Python, Apache Airflow, Greenplum, Apache Spark • от 250 000 ₽ | от 2 лет Senior Data Scientist • Python • Уровень дохода не указан | опыт не указан ML-инженер • Машинное обучение, Deep Learning, Нейронные сети, Python, TensorFlow, PyTorch, Keras, Linux, Git, Docker • Уровень дохода не указан | опыт не указан Разработчик БД (PostgreSQL, прикладные витрины) • SQL, PostgreSQL, ETL, Apache Airflow, Greenplum • Уровень дохода не указан | от 3 лет

Приглашаем тебя на крутое IT-мероприятие, посвящённое AI и передовым технологиям разработки рекомендательных систем. Регистрируйся, и в день мероприятия мы пришлём тебе ссылку на трансляцию. Или приходи очно, если ты живёшь в одном из городов. Где и когда? ✔️ Владивосток, 26 ноября ✔️ Новосибирск, 28 ноября ✔️ Нижний Новгород, 5 декабря ✔️ Санкт-Петербург, 6 декабря Тебя ждут крутейшие доклады, живая дискуссия и новые знания в сфере рекомендательных систем. Количество мест ограничено — успей занять своё и прикоснуться к миру рекомендательных систем! 👌

🤔 Размер имеет значение: как исторические данные помогают на этапе дизайна A/B-теста Статья изучает применение метода CUPED в A/B-тестах для повышения чувствительности и сокращения выборок. Рассматривается его использование на этапе дизайна эксперимента без потери статистической мощности. Читать...

🔥 Самые интересные статьи за последние дни: • Разбей и властвуй: как создать кастомный токенизатор в SpaCy • Функция property() в Python: добавляем управляемые атрибуты в классы • Что, если не трансформеры: какие альтернативы главной архитектуре нейросетей у нас есть в 2024 году • cgroups и namespaces в Linux: как это работает? • ML-тренды рекомендательных технологий: шесть приёмов, которые помогают угадывать желания пользователя

💡 Хакатон «Норникеля» «Интеллектуальные горизонты»: стартуем на поиски инноваций! Погружайся в кейсы от «Норникеля» и решай задачу по одному из трех треков: от анализа данных до автоматизации, от экологического мониторинга до создания алгоритмов, которые могут изменить правила игры в индустрии. Когда: 6 - 8 декабря. Формат: онлайн. Призовой фонд: 1 500 000 рублей. 🧑‍💻 Разработчики, аналитики, инженеры и любители новаторских решений смогут применить свои знания, чтобы придумать решения для реальных задач в промышленности. Хакатон «Норникеля» «Интеллектуальные горизонты» — это отличный шанс показать свои идеи, повлиять на промышленность и найти новых единомышленников.  Если нет команды — поможем её собрать! ➡️ Регистрация открыта! Успей зарегистрироваться до 2 декабря, 23:59 МСК по ссылке.

👩‍💻 Задачка по Python Напишите функцию, которая принимает DataFrame и возвращает имена двух столбцов с наибольшей положительной корреляцией. ➡️ Пример:

data = pd.DataFrame({
    'A': [1, 2, 3, 4],
    'B': [2, 4, 6, 8],
    'C': [1, 0, 1, 0],
    'D': [10, 20, 30, 40]
})

print(find_highest_correlation(data))  
# Ожидаемый результат: ('B', 'D')

Решение задачи ⬇️

def find_highest_correlation(df): corr_matrix = df.corr() max_corr = 0 columns = (None, None) for col1 in corr_matrix.columns: for col2 in corr_matrix.columns: if col1 != col2 and corr_matrix[col1][col2] > max_corr: max_corr = corr_matrix[col1][col2] columns = (col1, col2) return columns # Пример использования: import pandas as pd data = pd.DataFrame({ 'A': [1, 2, 3, 4], 'B': [2, 4, 6, 8], 'C': [1, 0, 1, 0], 'D': [10, 20, 30, 40] }) print(find_highest_correlation(data)) # Ожидаемый результат: ('B', 'D')

⚙️ Как я учился писать промпты для RAG пайплайна. Разбор 3-го места на AI Journey 24 E-com AI assistant Статья описывает опыт создания RAG-пайплайна с использованием Gigachat API для участия в AI Journey. Автор делится инсайтами, полученными в процессе разработки ассистента для рекомендаций товаров, который занял 3-е место. Читать...

⚡️Всероссийский Хакатон ФИЦ 2024 🚀Попробуйте себя в одном из предложенных кейсов: 1. Семантический делитель текстов: Разработать алгоритм, который сможет обеспечить точное разделение текста на блоки. 2. Контекстный перевод названий научных работ: Разработать переводчик, который будет переводить названия научных работ. 3. Прогнозирование бизнес драйверов: Разработать решение для задачи прогнозирования временных рядов бизнес-драйверов. 4. Система контроля и управления доступом: Разработка системы контроля и управления доступом. И др. 16 кейсов смотрите на сайте: https://фиц2024.рф/hackathon  Хакатон пройдет в 2 этапа: Отборочный этап в Онлайн, Финал в Офлайн. 🏆Призовой фонд: 6 000 000 руб. 🔥Дедлайн регистрации: 26 ноября, 23:59 📅Даты отборочного этапа: 29 ноября - 2 декабря 🦾Даты финала: 3 - 4 декабря Зарегистрируйтесь для участия в хакатоне: https://фиц2024.рф/hackathon #реклама О рекламодателе

📝 Подборка вакансий для мидлов Data Scientist • Python, SQL, MS SQL Server, PostgreSQL, A/B тестирование, ML-модели, Ad-Hoc аналитика • Уровень дохода не указан | Средний (Middle) Data Scientist (Моделирование РБ) • Python, Spark, SQL, ML, DL, NLP, Apache Spark • Уровень дохода не указан | Средний (Middle) ML Engineer / Инженер машинного обучения • Python, PyTorch, PostgreSQL, FastAPI, LLM, MLOps, Git, Docker, AirFlow • Уровень дохода не указан | Средний (Middle) Python разработчик • Python, FastAPI, PostgreSQL, React • от 150 000 ₽ | Средний (Middle) Python разработчик • Python, Flask, FastAPI, PostgreSQL, MySQL • Уровень дохода не указан | Средний (Middle)

⚙️ Что такое @staticmethod и @classmethod в Python, и чем они отличаются? Декораторы @staticmethod и @classmethod используются для создания методов, которые не требуют экземпляра класса. @staticmethod — это метод, который не зависит от экземпляра или самого класса, а @classmethod получает доступ к самому классу через первый параметр cls. ➡️ Пример:

class MyClass:
    @staticmethod
    def static_method():
        return "Это статический метод"

    @classmethod
    def class_method(cls):
        return f"Это метод класса {cls.__name__}"

# Использование
print(MyClass.static_method())  # Это статический метод
print(MyClass.class_method())   # Это метод класса MyClass

🗣️ В этом примере static_method ничего не знает о классе, в то время как class_method может взаимодействовать с классом, к которому он принадлежит. Используйте их в зависимости от того, нужно ли вам взаимодействие с классом.

🖥 Подробнее тут