Data Scientist | IT

▫️Математическая статистика в Pandas (Python) для Data Science/Анализа данных #посмотреть ▫️Что такое описательная статистика ▫️Среднее значение ▫️Медиана ▫️Мода ▫️Стандартное отклонение ▫️Квартили ▫️Минимум и максимум ▫️Pandas для вычисления описательной статистики ▫️Функция describe() ▫️Работа с Series и DataFrames ▫️Анализ типов данных ▫️Анализ данных о продажах ▫️Сравнение групп данных ▫️Выявление аномальных значений ▫️Интерпретация результатов ▫️Визуализация ⏱Смотреть на YouTube ⏱40 минут

Подборка инструментов аннотирования изображений #почитать Лидируют системы Keylabs и V7 c высокой точностью. Однако простые изображения можно обрабатывать другими инмтрументами. 1. V7 — инструмент с дружественным интерфейсом используется для объектов с аннотированием ИИ. 2. Labelbox — универсальный инструмент, поддержка всех типов аннотаций, текстовой классификации, сегментации экземпляров, сегментации многоугольниками. 3. Keylabs - современные, нацеленные на производительность и удобные инструменты со функциями управления операциями. 4. Scale AI — различные типы аннотаций на изображениях, ограничивающие прямоугольники, ключевые точки, кубоиды, многоугольники. 5. SuperAnnotate — предоставляет пользователям семантическую сегментацию, ключевые точки и рисование линий. 6. Dataloop — всеобъемлющая платформа управления данными с простым интерфейсом, спроектированная для применения быстрых рабочих процессов. 7. Supervisely — более восьмидесяти вариантов аннотирования, например, двоичную сегментацию или семантическую сегментацию; анализ медицинских изображений и видеокадров. 8. Hive Data — удобные функции возможностей облачного масштабирования; с интуитивным интерфейсом, нацеленным на подстройку под сценарии. 9. CVAT — очень популярен в среде опенсорсного сообщества, поскольку предоставляет расширенные возможности совместной работы, в том числе и для сотрудников на удалёнке. 10. LabelMe аннотирование прямоугольниками, просто перетаскивать маркеры мышью на нужной области и без необходимости увеличения вручную. 11. Labelimg – с удобным интерфейсом, разметка популярных форматов ограниченными прямоугольниками для дальнейшего применения в робототехнике, беспилотном вождении и глубоком обучении. 12. VoTT – предоставляет встроенную поддержку переноса обученных моделей из популярных моделей машинного и глубокого обучения наподобие TensorFlow и PyTorch. ⏱Читать статью

Под капотом графовых сетей #почитать

Графовые сети появились в году так 2016, пользовались популярность в 2018, но на хабре удалось найти не так много статей на данную тему. Поэтому после анализа блогов и публикаций, было решено собрать краткую выжимку (и надеюсь, понятную). Рассмотрим, какие операции есть в графе, какие бывают операции в графовых сетях, что такое пуллинг в терминах графа и так далее.

⏱Читать статью

29 марта в Слёрм стартует поток «Data Science: введение в машинное обучение».  Эксперты курса: ⚡Иван Аникин, Team Lead Yandex.Edadeal ⚡Владимир Бугаевский, Team Lead СберМаркет Они расскажут, как создавать алгоритмы, которые автоматизируют труд и заставляют компьютеры «думать» самостоятельно. Посмотреть подробную программу можно тут. На курсе вы сможете научиться: ✔ анализировать и визуализировать большие объёмы данных; ✔ сводить бизнес-задачу в задачу машинного обучения; ✔ работать с данными разных типов. Мы поможем уверенно стартовать в профессии: в конце обучения вы сможете сделать итоговый проект на реальных данных. Это уже второй поток нашего нового курса! Мы тщательно подбирали спикеров, собрали наиболее актуальную информацию, подобрали заточенную на реальность практику.  В курс мы добавили дополнительные углубленные модули — в них эксперты рассказывают, как обучить нейросети, использовать машинное обучение для решения бизнес-задач. В курсе 70% практики, а длительность всего 3,5 месяца! Начните путь в Data Science с бесплатного демо-курса по ссылке Реклама. ООО «Слёрм» г. Лиски, ИНН 3652901451

Ликбез по Data Governance, защита LLM, рейтинг BI-инструментов и другие новинки в мире ML и DS #почитать → Теория New Book: Implementing MLOps in the Enterprise Introduction to Apache Doris: A Next-Generation Real-Time Data Warehouse Data Monetization? Cue the Chief Data Monetization Officer CNCF White Paper по observability: инструменты, виды, стратегии и проблемы Data Governance: MDM and RDM (Part 3) БД — это скальпель или мультитул? Куда привела эволюция СУБД в 2023 году Переход с ETL на ELT → Практика Visualizing Feature Lineage with Tecton DataFlow Safeguarding Your RAG Pipelines: A Step-by-Step Guide to Implementing Llama Guard Druid Deprecation and ClickHouse Adoption at Lyft → Инструменты Discover, download, and run local LLMs Simplify End-To-End MLOps with PostgresML → Мнение Cutting Your Data Stack Costs: How To Approach It And Common Issues How To Plan To Data Roadmap For 2024 – Elevating Your Data Strategy → Инфраструктура Inference performance on AMD Instinct™ MI300X MTT S4000 48GB AI GPU with MTLink and zero-cost NVIDIA CUDA® framework translation → Обзоры рынка Платформы бизнес-аналитики BI 2023 How To Read Gartner’s Magic Quadrants & 2024 Predictions 15 Leading Cloud Providers for GPU-Powered LLM Fine-Tuning and Training → Видео Подкаст “Что такое MLOps?” MLOps Hands-on Guide: From Training to Deployment and Monitoring MNC — MLOps Building your ML Ops strategy for generative AI Community Paper Reading: Mixtral – Part One Qwak MLOps Platform Demo 2024 The future of BI: Exploring the impact of BI-as-code tools with DuckDB ⏱Подробно и с комментариями

Портретная гармонизация изображений #почитать

Наши исследования могут быть применены в различных продуктах и сервисах, в частности для SberJazz в задаче замены фона и гармонизации портрета, а также в GigaChat при добавлении модальностей «статичное изображение» и «видео» в сервис. Кроме того, наши наработки могут быть полезны в решении задачи Image Enhancement и в задаче манипуляции с изображениями, где требуется заменить / удалить / добавить объекты на фото, например в Kandinsky в режиме смешивания картинок. Также, с помощью нашего решения можно создавать синтетические датасеты. В данной статье мы расскажем о задаче гармонизации, об отличительных сторонах портретной гармонизации, поделимся подробностями об архитектуре модели, используемых датасетах и проведенных экспериментах. В конце статьи будут представлены примеры работы модели и получившиеся метрики. Также мы оценили другие open-source решения, являющиеся лучшими в задаче гармонизации. Мы обучили их на нашем датасете FFHQH, и показали, что архитектура PHNet является state-of-the-art (лучшей) в задаче портретной гармонизации.

⏱Читать статью

Цена качества модели: как метрики качества модели ML влияют на финансовый результат #почитать

В данной статье я хочу предложить подход, связывающий метрики качества модели с ее финансовой полезностью, на примере одного класса моделей: моделей вероятности дефолта, хотя, по сути, аналогичные идеи могут быть использованы для любых моделей классификации.

Итак, предположим достаточно стандартную ситуацию, у нас поток клиентов с некоторым исходным уровнем дефолтов (default rate, DR), существует модель вероятности дефолта с некоторым коэффициентом Джини, мы проранжировали всех клиентов согласно этой модели и готовы отбросить часть клиентов с самым худшим скором. Вопрос, каков будет уровень дефолта в выборке после того, как мы отбросили самых худших? Этот вопрос возникает не на пустом месте, а в целом соответствует стандартной практике принятия решений. Мы имеем некоторый изначальный поток клиентов (с некоторым уровнем дефолтов) и модель, которая ранжирует их, некоторым образом, после этого мы готовы пожертвовать какой-то частью клиентов (и прибылью, которые они приносят), чтобы получить меньший уровень дефолтов.

⏱Читать статью

Как начать в DL: книги и курсы. Очень краткий гайд #почитать ▪️Для новичков: - Грокаем глубокое обучение - Эндрю Траск - Создаем нейронную сеть - Тарик Рашид ▪️Для не новичков: - Глубокое обучение - Аарон Курвилль, Иошуа Бенджио, и Ян Гудфеллоу - Нейронные сети - Саймон Хайкин ▪️Книги о Фреймворках: - PyTorch. Освещая DL - Эли Стивенс, Лука Антига, Томас Виман - Глубокое обучение на Python. Keras и TensorFlow - Франсуа Шолле ▪️Курсы (бесплатные): - CS50's Introduction to Artificial Intelligence with Python - Гарварда - Machine Learning with Python: from Linear Models to Deep Learning - курс об ML от MIT - Deep Learning with Python and PyTorch - курс от IBM ▪️Советы: - Начните с простого. Если вы новичок в этой теме - не прыгайте выше головы - начните с простого (книга Грокаем глубокое обучение отлично подойдет для начала). - Не обязательно читать книгу или смотреть курс "от корки до корки". Вам не обязательно читать всё и сразу. Вы можете пропустить что то и вернуться позже, когда в этом будет необходимость. - Практикуйтесь. Обязательно создавайте свои проекты. Практика очень часто намного ценнее теории. - Не cдавайтесь. Не опускайте руки, даже если ваш прогресс не виден или вы ничего не понимаете - не сдавайтесь, продолжайте работать. - Найдите друзей или комьюнити со схожими интересами. Это поможет вам быстрее развиваться. ⏱Читать статью

Библиотека Diffusers и диффузионные модели #почитать Diffusers — это библиотека от Hugging Face, которая работает с сотнями предобученных моделей класса Stable Diffusion, создавая изображения и аудио. ⏱Читать статью

Как получить работу в области Data Science: 8 простых шагов #почитать Шаг 1: Определение цели и пути ее достижения Шаг 2: Освоение основ Шаг 3: Приобретение практического опыта Шаг 4: Создание привлекательного портфолио Шаг 5: Нетворкинг и налаживание связей Шаг 6: Повышение квалификации Шаг 7: Составление резюме и сопроводительного письма Шаг 8: Как успешно пройти собеседование

Какая квалификация необходима для того, чтобы стать специалистом по анализу данных? Ответ: Желательно иметь степень бакалавра, владеть техническими навыками, такими как языки программирования, а также владеть методами машинного обучения и анализа данных. Кроме того, необходимо приобрести соответствующие софтскиллы, такие как умение решать проблемы, критически мыслить и работать в команде.

⏱Читать статью

Решаем 5 олимпиадных задач на Python #почитать Используем битовую маску для выбора симпатичных узоров, находим оптимальную стратегию игры, подсчитываем варианты вырубки деревьев, и выясняем, за сколько секунд можно пробежать по эскалатору. ⏱Читать статью

Создание видео zoom in и zoom out с помощью inpainting в Kandinsky #почитать Функция inpainting в Kandinsky позволяет создавать видео zoom in и zoom out с иллюзией приближения или отдаления от единого изображения. ⏱Читать статью

Многоклассовая и многозадачная классификация #почитать ▪️Многоклассовая классификация - это способность модели классифицировать входные данные на более чем два класса. Если вы рассматривали задачи бинарной классификации, то многоклассовая классификация позволяет вам расширить вашу модель для более общих сценариев. Это актуально в сферах, где категории или классы могут быть множественными, например, в распознавании рукописных букв, классификации изображений, определении типов болезней, анализе текстовых данных и др. Существует много писем на языке, где есть множество классов: английский, испанский, французский и так далее. Многоклассовая классификация позволяет нам эффективно различать их. ▪️Многозадачная классификация, с другой стороны, это подход, который позволяет одной модели решать несколько задач одновременно. Это особенно полезно, когда эти задачи взаимосвязаны и могут взаимодействовать между собой, улучшая общую производительность системы. Применение многозадачных моделей нашло широкое применение в компьютерном зрении, обработке естественного языка и других областях. В автономных автомобилях многозадачные модели могут одновременно определять объекты на дороге, классифицировать их (например, машина, пешеход, велосипед) и предсказывать их движение. ⏱Подробно

Где искать работу Дата Саентисту в 2024 году #почитать

В этой статье я собрал 20 ресурсов для поиска работы и фриланс-проектов для специалистов по работе с данными.

1. Toptal 2. Open Data Science Jobs 3. Data Jobs 4. Scalable Path 5. Gigster 6. iCrunchData 7. X-Team 8. Gun.io 9. R-users 10. Getmatch 11. Engineering Jobs 12. Dice 13. SimplyHired 14. Upwork 15. Папка с каналами для поиска работы в телеграме 16. Freelance habr 17. Вконтакте ИТ-вакансии/it работа /Фриланс /it work 18. Kwork 19. Freelancehunt 20. FL.ru ⏱Читать статью

Когнитивные искажения у аналитика данных #почитать

df.head() — с этого момента вы начинаете работу с данными и полагаетесь на увиденное? Я тоже. Так мы наступаем в феномен what you see is all there is. У ограниченного набора данных, возможно, отсортированного, мы видим ещё более ограниченный набор данных. Мы сами этого не понимаем, но дальше нашу работу строим только на увиденном. Как починить себя? Принять как данность, что все подвержены когнитивным искажениям. От них нельзя избавиться полностью. Можно «пойти на компромисс: научиться распознавать ситуации, в которых возможны ошибки. И стараться избегать серьёзных ошибок, если ставки высоки».

⏱Читать статью

Материалы для подготовки к собеседованию на позицию Data Scientist. Live Coding #почитать Обычно собеседование на позицию Data Scientist состоит из следующих секций (порядок может быть разным): - Live Coding - Классическое машинное обучение - Специализированное машинное/глубокое обучение - Дизайн систем машинного обучения (middle+/senior) - Поведенческое интервью (middle+/senior) Материалы для подготовки к Live Coding: - Алгоритмы и структуры данных - Программирование на Python - SQL - Решение практической DS-задачи - Гибрид - Learning How to Learn ⏱Читать статью

На что стоит рассчитывать на первой работе: путь стажера (data engineer) #почитать

Хочу поделиться опытом и дать несколько рекомендаций людям, которые только начинают свой путь в области работы с данными и хотели бы узнать, какие задачи предстоит выполнять, оказавшись на своем первом рабочем месте.

Читать статью

Быстрее Pandas в 10 раз: Polars #почитать Polars предоставляет универсальный набор инструментов для работы с данными, включающий такие необходимые операции, как фильтрация, сортировка, группировка, объединение и обобщение данных. Несмотря на то что Polars не обладает такой же широкой функциональностью, как Pandas (в силу своей относительной новизны) – он охватывает порядка 80% типовых операций, встречающихся в Pandas. Читать статью

“Data Science: как перестать быть недо-программистами и недо-исследователями” #почитать Внешний фон наводит на мысли, что будни дата сайентиста заполнены исключительно творческой самореализацией, и рутина в процессы его работы никогда не сможет просочиться. Увы, но большую часть DS команд рутина уже поглотила. Рутина в процессах порождает большой спрос на специалистов средней и низкой квалификации, которыми компании компенсируют отсутствие автоматизации процессов внутри Data Science и мешают расти профессионально. Популярные платформы онлайн-курсов стараются удовлетворить спрос, подогревая интерес через массовую рекламу. Блогеры рекламируют курсы по Data Science, обещая несметные богатства своей аудитории, так как казино рекламировать больше нельзя. Получается, все дата сайентисты профнепригодны? Нет, абсолютно профпригодны, только профессия трансформировалась. Дата сайентисту нужно писать среднего качества код, переиспользовать уже проверенные и готовые методы, и уметь переводить в термины машинного обучения с бизнесового языка. ⏱Читать статью