Анализ данных (Data analysis)

⚽ SoccerNet 2024 ⚽ SoccerNet - это крупномасштабный набор данных для анализа футбольных видео. С годами он развивался и включал в себя различные задачи, такие как отслеживание действий игроков, калибровка камеры, идентификация игроков и отслеживание движения. Он состоит из 550 полных трансляций футбольных матчей и 12 игр, снятых одной камерой в главных европейских лигах. SoccerNet - это не только набор данных, но и ежегодные соревнования, в которых лучшие команды соревнуются на международном уровне. ▪Статья: arxiv.org/pdf/2409.10587 ▪Github: github.com/SoccerNet ▪Project: www.soccer-net.org/ @data_analysis_ml

Станьте аналитиком данных или специалистом по машинному обучению на курсе Skillbox «Data Scientist с нуля до Junior». За 9 месяцев вы научитесь: 🔸Аналитически мыслить — самостоятельно решать проблемы, выдвигать и проверять гипотезы, интерпретировать результаты. 🔸Извлекать данные из источников — читать файлы различных форматов при помощи Python, писать запросы к API, получать, очищать и сохранять данные. 🔸Строить аналитические модели и разрабатывать модели машинного обучения. 🔸Работать с инструментами дата-сайентиста — Python, Git, визуализацией данных в Power BI. После курса Центр карьеры Skillbox поможет найти первую работу. Вместе с вами составим резюме и оформим портфолио, подберем подходящие вакансии и подготовим к интервью. Сразу платить не нужно. Сначала попробуйте, потом принимайте решение. Оставьте заявку, и мы откроем доступ к первым 3 модулям курса. Переходите по ссылке: https://epic.st/RPkpZ?erid=2VtzqwWHQVM Реклама. ЧОУ ДПО «Образовательные технологии «Скилбокс (Коробка навыков)», ИНН: 9704088880

🎇AutoRound был интегрирован в PyTorch AO, хорошая библиотека, предоставляющая встроенную квантование и для обучения моделей. pip install auto-round 🎯Пример кода: https://github.com/pytorch/ao/tree/d2bce6a56eae5701cb72eb0cf6359626e7bd0190/torchao/prototype/autoround 🔥AutoRound Github: https://github.com/intel/auto-round @data_analysis_ml

Если чувствуете, что хотите сделать следующий шаг в IT, то самое время действовать! Не ждите выпускного из школы или колледжа — развивайтесь в интересующем направлении прямо сейчас 🚀🌟 Помимо самообучения, стоит воспользоваться поддержкой опытных менторов и преподавателей. Яндекс Лицей, проект Яндекс Образования, предлагает именно такую возможность. На бесплатных онлайн-специализациях вы сможете углубить свои знания в одном из востребованных направлений: - Веб-разработка на Django. - Большие данные. - Машинное обучение. - Анализ данных. - Веб-разработка на GO. Специализации длятся 3 месяца и ориентированы на подростков 13-20 лет, у которых уже есть опыт в программировании. Во время онлайн-обучения вы прокачаете свои навыки, поработаете над реальными задачами и групповыми проектами, пообщаетесь со специалистами из индустрии… в общем, сделаете всё, чтобы подготовиться к карьере в IT! Подайте заявку на специализации до 24 сентября и выйдите на новый уровень в IT!

🎧 WaveWizard 🎶 WaveWizard - это интерактивное приложение Gradio, которое анализирует аудиофайлы, чтобы определить их частоту дискретизации и битовую глубину. Оно поможет вам проверить, являются ли ваши аудиофайлы высокого разрешения подлинными или же они были пересжаты из источников более низкого качества. github: https://github.com/JackVinati/WaveWizard @data_analysis_ml

Освойте универсальные навыки в мире цифровых профессий — научитесь работать с SQL, Python, Power BI и DataLens на бесплатном курсе от Нетологии. В результате вы: — разберётесь в основах Python для анализа данных и узнаете, как извлекать информацию. — научитесь делать запросы и отчёты с помощью SQL. — сможете строить интерактивные дашборды в Power BI и DataLens. Курс подойдёт новичкам и тем, кто хочет расширить свои навыки. Присоединяйтесь бесплатно Реклама. ООО "Нетология". Erid 2VSb5xhLXXe

⚡️ SwiftBrush v2 может улучшить качество изображений, создаваемых моделями диффузии текста в изображение! Результаты выглядят великолепно, и, судя по всему, в бенчмарках она превосходит все модели на основе GAN и многошаговые модели Stable Diffusion. https://swiftbrushv2.github.io @data_analysis_ml

Как искусственный интеллект меняет правила игры в бизнесе? Приглашаем тебя на митап по Data Science от экспертов Газпромбанк.Тех, где ты узнаешь: – Как мы используем нейронные сети для разбора платежных документов – Каким образом оптимизатор позволяет максимизировать прибыль от маркетинговых коммуникаций – Какие задачи решают квантовые технологии в мире финансов В конце тебя ждет нетворкинг с участниками и спикерами митапа. Регистрируйся и приходи 19 сентября к нам в гости: Москва, ул. Коровий Вал д.5, БЦ «Оазис» — https://vk.cc/cASzfH Реклама, Банк ГПБ (АО), ИНН: 7744001497, erid: 2VtzqvWrkAB

Новостной дайджест ✔️ CEO Hasbro заявил, что искусственный интеллект станет основной частью Dungeons & Dragons. Генеральный директор Hasbro, материнской компании Wizards of the Coast, Крис Кокс заявил, что ИИ уже используется для разработки игр и в будущем станет неотъемлемой частью Dungeons & Dragons, например, для создания пользовательского контента и сценариев. Это заявление вызвало волну критики в сообществе D&D, поскольку ранее Wizards of the Coast запрещала своим художникам использовать ИИ. uk.news.yahoo.com ✔️ Китайский конкурент Nvidia, компания Biren Technology, планирует выход на IPO. Biren Technology, получившая статус "единорога" (стартапа с оценкой более $1 млрд) в ноябре 2023 года, наняла инвестиционный банк Guotai Junan Securities, чтобы пройти обязательный в Китае процесс "обучения", который является предшественником подачи заявки на IPO. Процесс занимает от 3 до 12 месяцев, включает в себя подготовку руководства компании к IPO. scmp.com ✔️ AMD подтвердила, что FSR4 будет использовать ИИ для повышения качества изображения и энергоэффективности. AMD подтвердила, что следующая версия технологии масштабирования изображения FidelityFX Super Resolution (FSR), FSR4, будет использовать искусственный интеллект для генерации кадров. Самой большой проблемой, с которой сталкиваются портативные игровые устройства, является время автономной работы, и в генерации кадров лежит одно из возможных решений этой проблемы. Идея заключается в том, что генерация интерполированных кадров требует гораздо меньше вычислительных ресурсов, чем полная отрисовка этих кадров, поэтому можно зафиксировать частоту кадров на относительно низком уровне, например, "30 или 35", а затем использовать генерацию кадров, чтобы сделать изображение плавным, экономя при этом энергию. FSR4 будет доступен не только на портативных игровых устройствах и может стать отличной функцией для будущих дискретных графических процессоров AMD на базе RDNA 4. AMD начала работу над решением для генерации кадров на основе ИИ "9-12 месяцев назад", поэтому FSR4 может быть готов к запуску новых видеокарт AMD, который ожидается примерно в январе, на выставке CES 2025. hothardware.com ✔️ ОАЭ представили новую политику безопасности в области ИИ. Центр электронной безопасности Дубая (DESC) объявил о запуске политики безопасности искусственного интеллекта Дубая, чтобы укрепить доверие к решениям ИИ, способствовать их развитию и снизить риски безопасности. Эта инициатива является частью стремления ОАЭ стать мировым лидером в области ИИ к 2031 году, разрабатывая интегрированную государственную систему, использующую ИИ в ключевых секторах. Запуск политики соответствует целям программы Dubai Economic Agenda , направленной на удвоение экономики Дубая в течение следующего десятилетия. wam.ae ✔️ Италия тестирует обучение с помощью ИИ в школах. Правительство Италии запускает пилотный проект по внедрению ИИ в школах, чтобы помочь сократить отставание страны в области цифровых навыков от других стран ЕС. В рамках проекта, ПО с поддержкой ИИ будет протестировано в 15 классах в четырех регионах. Инструменты ИИ на планшетах и компьютерах в классах будут действовать как "виртуальные ассистенты, которые могут облегчить обучение для учеников и помочь учителям определить методы для индивидуального образования". Италия имеет один из самых низких показателей базовых цифровых навыков в ЕС, уступая только Латвии, Польше, Болгарии и Румынии. Министр образования Джузеппе Вальдитара считает, что ИИ может помочь улучшить ситуацию, предоставляя учащимся более персонализированный и эффективный образовательный опыт. В то же время, министр ввел полный запрет на использование мобильных телефонов в классах, даже в образовательных целях. Проект по внедрению ИИ в школах будет оцениваться в течение учебного года, и, если он окажется успешным, его планируется расширить. kfgo.com @ai_machinelearning_big_data #news #ai #ml

🖥 Microsoft только что объявила о возможности Copilot обрабатывать Excel файлы, генерируя код на Python. - Подробный анализ данных - Copilot генерирует Python скрипты - Excel выполняет код, чтобы вывести результат. И все это без необходимости писать хоть одну формулу. Только естественный язык. Супер легкий анализ и визуализация данных. @data_analysis_ml

🔥 g1: Using Llama-3.1 70b on Groq to create o1-like reasoning chains Прототип g1, в котором показано использование Llama-3.1 70B на платформе Groq для формирования цепочек выводов, схожих с теми, что используются в o1 Open AI. В отличие от o1, в g1 представлены все элементы рассуждений посредством использования открытой модели, что стимулирует сообщество open source к разработке новых стратегий. Данный эксперимент демонстрирует продуктивность пошаговых рассуждений при таком подходе, хотя g1 не достигает таких высоких результатов в сложных задачах, как o1, которая использует масштабное обучение с подкреплением. https://github.com/bklieger-groq/g1 @data_analysis_ml

K2 Cloud и PiterPy2024 — бесплатный день конференции для питонистов. Ребята из K2 Cloud помогли организовать Community Day для python-разработчиков. 18 сентября ты сможешь бесплатно послушать часть докладов конференции PiterPy: от мастерства карьерного роста до хитростей асинхронного программирования. Для участия нужно только зарегистрироваться. Подробнее на сайте

🖥 One-DM может генерировать рукописный текст по одному образцу, имитируя стиль вводимого текста. Он улавливает уникальные особенности письма и хорошо работает на нескольких языках. https://github.com/dailenson/One-DM @data_analysis_ml

Вот что ждет в Т-Банке ML-разработчиков, кроме ДМС, крутых офисов и других плюшек: — Актуальный стек. Здесь следят за трендами и быстро внедряют новое. — Общение на «ты». Так проще. — Прозрачная система роста. Вы всегда будете знать, какие навыки нужно подтянуть и как получить повышение. — Вы окажетесь среди профессионалов, у которых можно многому научиться. А если захотите — можете стать ментором для младших коллег. Больше о вакансиях ML-разработчиков — здесь Erid:2VtzquijNPh

🖥 NVIDIA выпустила уменьшенную версию, Nemotron-Mini-4B-Instruct - Оптимизирована для ролевых игр, RAG QA и вызова функций на английском языке. - Поддерживает контекст длиной 4 096 лексем. - Разрешено коммерческое использование 🌟 Подробнее про Nemotron Это доработанная версия nvidia's Minitron-4B-Base, которая была обрезана(прунинг) и соборно из Nemotron-4 15B с помощью техники сжатия LLM. https://huggingface.co/nvidia/Nemotron-Mini-4B-Instruct

🎇AutoRound был интегрирован в PyTorch AO, хорошая библиотека, предоставляющая встроенную квантование и для обучения моделей. 🎯Пример кода: https://github.com/pytorch/ao/tree/d2bce6a56eae5701cb72eb0cf6359626e7bd0190/torchao/prototype/autoround 🔥AutoRound Github: https://github.com/intel/auto-round @data_analysis_ml

Andrew Ng только что выпустили два свежих курса по AI Python для начинающих! В курсе учат, как писать код (а) с использованием ИИ, основне направлением развития этой области, и использовать преимущества генеративного ИИ, который позволяет быстро делать ценные вещи с помощью кода. Если вы подумываете о том, чтобы научиться писать код, то благодаря ИИ сейчас самое подходящее время для этого. https://deeplearning.ai/short-courses/ai-python-for-beginners/ @data_analysis_ml

🫦 Pose Talk - это мощный метод синхронизации губ, который позволяет создавать видеоролики с говорящей головой из одного изображения, аудио и текстовых подсказок. https://junleen.github.io/projects/posetalk @data_analysis_ml

⚡️ SkillNer - это модуль NLP для автоматического извлечения HR данных из неструктурированных объявлений о работе, текстов и резюме соискателей. pip install skillNer Извлечение необходимой информации о стеке разработчиков из объявлений о вакансиях, резюме и любого другого неструктурированного текста может занимать много времени и сил, если делать это вручную. Этот инструмент может быть полезен: - Рекрутерам для автоматизации извлечения для ускорения отбора кандидатов. - Специалистам по исследованию данных для извлечения структурированных данных из неструктурированного текста, связанного с работой. SkillNER автоматизирует этот процесс, делая пирсинг быстрым и эффективным. Вот небольшой пример:

python
import spacy
from spacy.matcher import PhraseMatcher
from skillNer.general_params import SKILL_DB
from skillNer.skill_extractor_class import SkillExtractor

# Load the spaCy model
nlp = spacy.load("en_core_web_lg")

# Initialize the SkillExtractor
skill_extractor = SkillExtractor(nlp, SKILL_DB, PhraseMatcher)

# Sample job description
job_description = """
You are a data scientist with strong expertise in Python. You have solid experience in 
data analysis and visualization, and can manage end-to-end data science projects. 
You quickly adapt to new tools and technologies, and are fluent in both English and SQL.
"""

# Extract skills from the job description
annotations = skill_extractor.annotate(job_description)
annotations

📘 Github 🚀 Demo @data_analysis_ml

🍏 Все, что вам нужно это 2 Макбука Крутой домашний клестер: Llama 3.1 405B работает распределенно на 2х макбуках. https://github.com/exo-explore/exo @data_analysis_ml