Data Scientist | IT

Анализ рекламных креативов с помощью генеративных сетей #почитать В процессе работы работы с данными пользователя система анализирует показатели рекламной кампании на наличие существенных изменений: взлетов или падений и при их наличии формирует автоматический отчёт на основе сравнения данных в рамках текущей рекламной кампании с историческими данными, результаты данного сравнения передаются для в языковую модель для формирования гипотез. Также в боте предусмотрена возможность формирования мгновенного отчёта по запросу пользователя. ⏱Читать статью

Как начать развиваться в профессии дата-инженера? 👨‍💻Освойте лучшие практики работы с данными на онлайн-курсе «Data Engineer» от OTUS. ➡За 4 месяца вы научитесь собирать данные, разрабатывать архитектуру данных в компании и создавать сервисы для обработки данных больших объемов. Одна из фишек курса — метод кейсов. На занятиях разбираем примеры внедрений, использования инструментов, оптимизации производительности, а также возможные проблемы и ошибки. 💣 Пройдете тест и получите: ✔️ Живое общение с экспертами ✔️ Лучшие открытые уроки прошлых наборов курса ✔️ Продвинутые темы и практика на «боевых» задачах уровня Middle+ ✔️ Скидку на прохождение онлайн курса «Data Engineer» 👉 ПРОЙТИ ТЕСТ Приобрести курс возможно в рассрочку. Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru, erid: LjN8KXKKd

Головоломки на Python #почитать Программирование — это не только набор команд и алгоритмов, но и головоломки, которые заставляют нас думать логически, креативно и аналитически. ⏱Читать материал

Как я изучаю ML #почитать Допустим, вы хотите освоить большие языковые модели (LLM). Хорошим первым проектом будет создание REST API для анализа настроений. Когда вы начинаете свой путь обучения с четкой целью, вы переводите свой мозг в режим решения проблем. И вы начинаете задавать себе правильные вопросы: Где найти набор данных для обучения и оценки модели? Какая модель подходит для этой задачи? Как обернуть и развернуть свою модель в виде REST API? Набор данных? → Набор данных Amazon Review может стать хорошей отправной точкой. Модель? → Библиотека трансформеров Hugging Face предоставляет отличные модели для анализа настроений, которые вы можете использовать из коробки или даже доработать с помощью собственных данных, чтобы повысить их точность для вашей задачи. Развертывание? → AWS Lambda – популярная платформа для бессерверного развертывания, почему бы не попробовать? Это части вашего решения, которые вам нужно собрать воедино - и стать чемпионом. ⏱Читать статью

Классификация действий на видео (Action Classification) #почитать В самом начале нашего пайплайна решения мы используем дообученную YOLOv8m от Ultralitics для выделения bbox каждого человека и трекинга. После трекинга модели мы записываем в хэш таблицу для каждого id вырезанный bbox человека, номер кадра и размеры bbox. Если мы получили для любого id 10 изображений мы создаём numpy array размером 10x160x160x3 и передаем в модель классификации. Моделью классификации действия является модель на TensorFlow. Архитектура модели - изменённая ResNet50 со слоями TimeDistributed над слоями свёртки и пулинга. После слоёв свертки модель имеет 3 слоя LSTM с 128, 64 и 32 нейронами соответственно. На выходе 1 нейрон с функцией активации “сигмоида”. Также мы для привязки к рабочему месту использовали “Perspective Transformation” от OpenCV для расположения каждого объекта на карте. Благодаря этому мы можем привязать каждый объект к определенной области работы и отслеживать статистику работы. ⏱Читать статью

Как художники борются с ИИ за рабочие места #почитать Громоподобный шаг научно-технического прогресса слышен издалека: сквозь года до нас доносится эхо шагов из будущего. Шрамы ран, полученных в предыдущие промышленные революции, априорные, переданные через учебники и опыт предков, болезненно сжимаются под воздействием этого эха. Как и всё великое, дела человечества пугающе красивы. Наверное, поэтому все мы стали в той или иной мере, но скажем честно, опасаться ИИ заранее. А пока фантазировали, он зашёл не совсем оттуда, откуда его ждали. В 2004, когда выпускали фильм «Я, Робот», казалось, что творчеством ИИ закончит, а он с этого начал. ⏱Читать статью

Не очень известные Библиотеки Python для Аналитики Данных #почитать Речь идет о: ▪️PyCaret Включает в себя функции для автоматического сравнения моделей, предобработки данных, а также интеграцию с MLflow для удобного ведения экспериментов. Например, вы можете использовать PyCaret для прогнозирования цен на алмазы, используя различные алгоритмы и оценивая их производительность с помощью кросс-валидации. ▪️Vaex Библиотека для ленивой загрузки и эффективной обработки очень больших данных. ▪️Streamlit Инструмент для быстрого создания интерактивных веб-приложений для аналитики данных. Классификация изображений или прогнозирование временных рядов. ▪️Dask Для параллельных вычислений и работы с большими датасетами. ▪️Dash by Plotly Фреймворк для создания аналитических веб-приложений. ⏱Читать статью

Типичная задача аналитика данных: упала метрика #почитать Часто бывает так, что при внедрении новой функциональности АБ тестирование провести нельзя. Например, это типично для маркетинговых кампаний нацеленных на массовую аудиторию. В данной ситуации существует вероятность того, что пользователи контрольной группы, которым недоступна рекламируемая функциональность, начнут массово перерегистрироваться. Также возможен сценарий, при котором возникнет значительное количество негативных отзывов из-за воспринимаемой дискриминации. Но задача оценки таких нововведений одна из наиболее частых, которые приходится решать аналитикам. Если метрики только улучшаются, то это обычно легко объяснить хорошей работой, а если метрика ухудшилась, то сразу появляется задача на аналитика. В этой заметке мы рассмотрим первую часть задачи - а действительно ли метрика упала и если да, то имеет ли смысл разбираться дальше? ⏱Читать статью

Распознавание дипфейков. Какие бывают дипфейки лиц и как их детектировать #почитать Существует технология Liveness, которая помогает системе отличить живого человека от фейка. Она определяет физическую (не цифровую!) маску, даже если она из силикона или латекса, фото, запись голоса или видео. Алгоритм работает в связке с системой распознавания лиц, но главное отличие в том, что он отвечает не на вопрос «Тот ли это человек», а на вопрос «Живой ли это человек». ⏱Читать

ИИ-генераторы музыки #почитать ▪️FineShare. Платформа может похвастаться хранилищем, богатым голосовыми моделями, напоминающими таких персонажей, как Ариана Гранде, Майкл Джексон и причудливые персонажи из мультфильмов. ▪️MusicAI. Представляет собой сочетание моделей искусственного интеллекта, подражающих популярным артистам, открывающих двери в мир, где K-pop, хип-хоп и причудливые каверы на Губку Боба находят общий язык. ▪️Musicfy. Позволяет настраивать высоту звука, удалять инструментальные партии и настраивать качество звука. ▪️Voicedub.ai. Интуитивно понятный дизайн. ▪️Mubert. Для создателя современной музыки. ▪️Covers.ai. Кавер-версии, клонирование голосов с модификацией. ▪️Soundful. 50 шаблонов (жанров). Холст для музыкального самовыражения. ▪️Beatbot. Сочетание звуковых циклов Splash и текстов на основе ChatGPT. ▪️Aiva. Обширные пресеты, рассчитана на профессионалов. ▪️Boomy. От искры музыкальной идеи до полноценной песни несколько кликов. ⏱Читать обзор

👍🏻

🟡 Освойте одну из самых перспективных и интересных IT-профессий всего за 4 месяца Computer Vision — дисциплина, которая позволит вам работать с визуальными данными и нейросетями на профессиональном уровне, играя важную роль в современных инновационных проектах. 💻 Вы изучите: — Классификацию и сегментацию изображений — Детекцию и отслеживание объектов на видео — Обработку и анализ трехмерных сцен — Распознавание лиц и людей по силуэту — Генерацию и реконструкцию изображений — Обучение, тестирование и оптимизацию нейросетей — Развертывание моделей в продакшн Есть рассрочка на комфортных условиях! 🔥 Оставьте заявку прямо сейчас и получите 4 полезных урока от экспертов курса в подарок: https://vk.cc/cu0jOU Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru, erid: LjN8KSaSy

Hippotable — анализ данных в браузере #почитать Чем простому парню вроде меня поковыряться в данных? Есть 3 варианта, но все они так себе: 1. bash. Я могу нашлепать что-то вроде cat user-ids.csv | sort | uniq | wc -c для подсчета уникальных пользователей с багом. Если вопрос чуть сложнее (посчитать распределение по платформам), начинаются проблемы — будем честны, настоящих мастеров баша мало. 2. Google sheets & co на вид хорошо подходят для задачи — много статистических функций, графики, все удобно и интерактивно. Но есть две беды: много ненужных функций (зачем мне ручное форматирование?) и сложность работы с несколькими таблицами (если вы пробовали поджойнтить таблицы через VLOOKUP, вы понимаете, о чем я). У онлайн-решений ещё проблемы с конфиденциальностью, не отправлять же данные пользователей на сервер гугла. 3. Pandas / jupyter — отличный инструмент для анализа, но нужно писать много кода. Мои задачи довольно простые, мне вполне подойдет что попроще. Hippotable — удобный инструмент для ковыряния в небольших данных. ⏱Читать статью

Как работает ML в Uber. Алгоритм Витерби + фильтр Калмана #почитать Ежедневно совершается более 18 миллионов поездок Uber. Таким образом, в масштабах Uber неправильное расчетное время прибытия может стоить им убытков в миллиарды долларов США. ⏱Читать

NumPy: оттачиваем навыки Data Science на практике #почитать Рассмотрим ряд различных упражнений, используя библиотеку NumPy (и сравним с тем, как мы бы реализовали их без неё). Для этой статьи рекомендуется, чтобы читатель имел средний уровень знаний Python, NumPy, numpy.dtype, numpy.ndarray.strides, и numpy.ndarray.itemsize. ⏱Читать практикум

"Может показаться, что нанимать джунов вообще бессмысленно и нереально, но это не так" #почитать

Для реализации сложных и нетипичных проектов и задач зачастую недостаточно только теоретических знаний. Нужен практический опыт, который есть именно у более опытных специалистов. Но часто ёмкость рынка не соответствует запросу работодателей — джунов всегда больше, чем мидлов и сеньоров, и срок их развития не такой быстрый, как требуется. С одной стороны, можно за короткий период прокачать джуна в мидла под определённый тип задач, но это не гарантирует, что он будет способен решать иные, более сложные задачи. Для целостного развития из джуна в мидла и далее нужны время и последовательность.

⏱Читать статью

🔥 Учебник с задачами и решениями Advanced Python Mastery для Junior++ #почитать Курс по продвинутому программированию на Python, основанный на упражнениях, который был проверен несколько сотен раз на корпоративных тренингах в течение более чем десяти лет. Автор Дэвид Бизли, автор книг Python Cookbook, 3rd Edition (O'Reilly) и Python Distilled (Addison-Wesley). 🟡Без рекламы, всплывающих окон, кнопок, рассылок, подписок и искусственного интеллекта) Целевая аудитория: Курс предназначен для программистов на Python, которые хотят выйти за рамки коротких скриптов и перейти к написанию более сложных программ. Темы сосредоточены на методах программирования, которые используются в популярных библиотеках и фреймворках. Основная цель - лучше понять сам язык Python, чтобы вы могли понимать чужой код и применять полученные знания в собственных проектах. 🟡Но вы уже должны знать Python на Junior-уровне. Это не курс для начинающих. ⏱Посмотреть на GitHub

▫️Как бы я начала учить DS в 2024. С чего начинать и в какой последовательности продвигаться #почитать ▫️С чего начать обучение Data Science. Примеры задач ▫️Python, основные темы ▫️Полезные каналы по Python, книги и важность leetcode ▫️Математика для Data Science. Математический анализ ▫️Линейная алгебра ▫️Статистика ▫️Модели машинного обучения ▫️Нейросети ▫️Дополнительные инструменты Docker и Git ▫️MLOps ▫️Практика на Kaggle / Pet-project / Хакатоны ▫️Как эффективно и быстро учиться ▫️Сколько в день нужно учиться ⏱Посмотреть на YouTube ⏱15 минут

Человеческий мозг и системы машинного обучения: попытка объективного сравнения #почитать В настоящее время мозг — это единственный известный пример AGI (сильного искусственного интеллекта). Даже мелкие животные с крошечными мозгами демонстрируют впечатляющую степень владения сильным естественным интеллектом, в том числе, гибкость и агентное поведение в сложном мире, характеризующемся высокой неопределённостью. Если мы хотим понять, в какой степени современное машинное обучение приблизило нас к AGI, то стоит попробовать количественно оценить мощность мозга. Согласно наиболее общим оценкам, в человеческом мозге от 80 до 100 миллиардов нейронов. Здесь есть важный момент, который часто обходят вниманием, сравнивая мозг и фреймворк для машинного обучения: дело в том, что мозг не является единой монолитной системой, а состоит из множества субъединиц, отличающихся как по внутреннему строению, так и по функциональной специализации. В настоящее время распознавание образов и генерация изображений уже вышли на довольно хороший уровень, и кажется, что до паритета с человеком им ближе, чем 3-4 порядка. Вероятно, чтобы полноценно генерировать "человеческое видео", нейронные сети должны нарастить параметры ещё на несколько порядков. Схожие результаты получены и для аудио. Рабочий потенциал полноценного мозга составляет от 10 до 30 триллионов параметров. Это очень много, но всего на 1-2 порядка больше, чем в современных крупномасштабных системах. Если предположить, что стоимость системы в пересчёте на параметр растёт линейно, то требуется от 100 миллионов до 1 миллиарда долларов, чтобы обучить современную нейронную сеть, эквивалентную по параметрам человеческому мозгу. ⏱Читать