Анализ данных (Data analysis)

Как большие данные помогают повысить операционную эффективность? Работа с big data стала уже необходимостью для тех, кто стремится к эффективности и оптимизации бизнес-процессов. Однако на этом пути компании сталкиваются с множеством препятствий — от высоких операционных затрат до перехода на отечественные аналитические big data-платформы. 21 ноября в 16:00 на онлайн-митапе разберем, как большие данные решают конкретные задачи в бизнесе. Темы митапа 🔹Оценка окупаемости проектов в big data и запуск пилотов для достижения конкретных бизнес-целей 🔹От Excel к корпоративному хранилищу данных: как мы переводим компании на платформу Greenplum и локализуем big data на отечественных продуктах 🔹Практический кейс из FMCG: задачи, решения и полезные лайфхаки для оптимизации процессов. Спикеры Александр Фикс Менеджер продукта K2 Cloud Руслан Султанов Архитектор аналитических систем K2Тех Регистрация по ссылке>>

🔥 Полезный репозиторий-руководство по работе с LLM! ⭐️ Здесь собраны различные инструменты, данные и методы для обучения и оценки LLM, адаптированных под написание программного кода! 🔐 Лицензия: MIT 🖥 GitHub @data_analysis_ml

Металлургия и ИТ – что может их объединить? Ответ прост: хакатон ЕВРАЗа 3.0 🔥 🦾 Создай будущее Code Review с ИИ!  Участвуйте в нашем уникальном хакатоне по созданию ИИ-чатбота, который станет незаменимым помощником для разработчиков ЕВРАЗа! Выберите одно из направлений — Python, TypeScript или C#, и разработайте решение для анализа кода на соответствие нашим стандартам.  Дата: 29 ноября – 1 декабря 2024. Формат: гибридный (онлайн и офлайн). Призовой фонд: 500.000 рублей. 🧑‍💻 Присоединяйся к хакатону, если ты: – AI-специалист; – Frontend / Backend-разработчик; – Студент или выпускник технического вуза. ⚡️ Зачем участвовать? – Прокачаешь скиллы и получишь обратную связь от ведущих экспертов отрасли. – Прикоснешься к ИТ в ЕВРАЗе. – Получишь возможность стать частью масштабной и амбициозной команды ЕВРАЗа. Если нет команды — поможем ее собрать! 🔸 Регистрация уже открыта! Подай заявку до 25 ноября 23:59 МСК по ссылке.

⚡️ RuQwen2.5-3B-Instruct-AWQ — это улучшенная версия серии моделей Qwen2.5 на 3млрд параметров, адаптированная для русскоязычных задач. Что сделано Полностью решена проблема генерации иероглифов. Проблема часто возникала в кейсах генерации ответов, содержащих смесь русского и английского текста, терминов, сокращений (модель по сути сбивалась). Применен алгоритм FRT, который позволяет добиваться русификации иностранных моделей. Благодаря оптимизациям, модель обеспечивает бОльшую связность текста на русском языке, делая её отличным выбором для различных приложений, требующих работы с русскоязычным контентом. Модель разработана командой FractalGPT специально для генерации текста на русском языке, сохраняя широкую поддержку и для других языков. Cвободно доступна для скачивания на HF 🤗 Карточка модели на HF @data_analysis_ml

🔥 firecrawl-simple — урезанная и оптимизированная версия библиотеки firecrawl! Она позволяет вам быстро конвертировать веб-сайты в готовый для чтения LLM текст. 🔐 Лицензия: AGPL-3.0 🖥 GitHub @bigdatai

Как BI аналитика влияет на рост продаж в розничной сети 14 ноября в 14:00  Покажем как визуализацию данных по торговой точке трансформировать в процесс принятия решений: ⚡Объективная оценка работы вашего персонала с помощью системы рейтингов ⚡Ежемесячное отслеживание динамики продаж и мотивации ваших сотрудников ⚡Автоматическое формирование задач и прогнозирование результатов ⚡Управленческий импульс (UI) для предотвращения отклонений от плана Участие бесплатное. Требуется регистрация по ссылке. Вебинар от команды BI-платформы Insight

🔥 Laminar — это открытая платформа с набором инструментов для разработки продуктов в области искусственного интеллекта, предоставляющая возможности работы с трассировкой (traces), оценкой моделей (evals), датасетами и разметкой данных! ⭐️ Разработанная с учетом потребностей как исследователей, так и разработчиков, платформа облегчает процесс создания и мониторинга моделей ИИ на основе большого количества данных. Laminar включает поддержку SDK для языков, таких как TypeScript и Python, и использует подходы наблюдаемости для упрощения отладки и мониторинга, особенно при работе с LLM. 🔐 Лицензия: Apache-2.0 🖥 GitHub @data_analysis_ml

🤖 Data Analyst в Х5 Tech В команде Х5 вас ждет: — конкурентная зарплата, удаленка или гибридный формат; — амбициозные проекты вроде собственной платформы по работе с нейросетями и автоматического ценообразования; — прокачка навыков в корпоративном университете, митапы, конференции и общение с топами. Развивайте один из продуктов: — автоматизированное ценообразование; — оптимизацию работы приложения; — минимизацию затрат на транспорт. Ожидаем, что вы: — работаете в сфере Data Science или Data Analysis от трех лет; — знаете Python; — умеете проводить А/В-тестирования. ➡️ Откликнуться: @oooozhegovaaaa

TinyTroupe 🤠🤓🥸🧐 Microsoft только что выпустила библиотеку Tiny Troupe!🧍‍♂🧍🧍‍♀ Это экспериментальная библиотека Python, которая позволяет моделировать людей с определенными личностями, интересами и целями". Эти агенты могут слушать, отвечать на запросы и жить своей жизнью в симулированной среде TinyWorld. Sims на на базе LLM😂 ▪ Github

🧔‍♂️ Face Anon простой инструмент для анонимизации лиц на изображениях, сохраняя при этом оригинальное выражение лица и положение головы! Работает на основе диффузионных моделей для генерации высококачественных изображений, Позволяет легко выполнять задачи по замене лиц. git clone https://github.com/hanweikung/face_anon_simple.git ▪Github ▪Demo @data_analysis_ml

🖥 Opik — это открытая платформа для разработки, тестирования и мониторинга приложений на основе больших языковых моделей (LLM)! 🌟 Этот инструмент помогает отслеживать и анализировать работу LLM, автоматизировать оценку, хранить тестовые случаи и поддерживает интеграцию с CI/CD для упрощения цикла разработки и развертывания. Платформа позволяет как локальный запуск, так и использование в облаке, поддерживает такие фреймворки, как OpenAI, LangChain и другие. 🔐 Лицензия: Apache-2.0 🖥 Github @data_analysis_ml

Освойте универсальные навыки в мире цифровых профессий — научитесь работать с SQL, Python, Power BI и DataLens на бесплатном курсе от Нетологии. В результате вы: — разберётесь в основах Python для анализа данных и узнаете, как извлекать информацию. — научитесь делать запросы и отчёты с помощью SQL. — сможете строить интерактивные дашборды в Power BI и DataLens. Курс подойдёт новичкам и тем, кто хочет расширить свои навыки. Также после бесплатного курса вы получите карьерную консультацию и скидку до 50% для продолжения обучения на курсах-профессиях в Нетологии. Присоединяйтесь бесплатно Реклама. ООО "Нетология". Erid 2VSb5xixG2c

🔥 Классный инструмент, который позволяет вам создавать короткие видео для различных площадок "в один клик" с помощью ИИ! 🔐 Лицензия: MIT 🖥 Github @data_analysis_ml

Хотите освоить Apache Superset и создавать эффективные дэшборды? 🟡 Приглашаем вас на открытый вебинар 14 ноября в 20:00 мск. Это шанс узнать, как установить, настроить и использовать этот инструмент для визуализации данных, который станет вашей правой рукой в BI-аналитике! Apache Superset позволяет легко подключаться к разным источникам данных и визуализировать их на интуитивно понятных дэшбордах. На вебинаре мы покажем, как работать с интерфейсом Superset и настроить базовые функции для вашего проекта. Вебинар для BI-специалистов, аналитиков данных и разработчиков. Вы научитесь подключать данные, создавать дэшборды и настраивать визуализации, чтобы сделать свою аналитику наглядной и доступной. ➡️ Регистрируйтесь сейчас и получите скидку на большой курс «BI-аналитика»:https://clck.ru/3EWq8D?erid=LjN8KSWfV Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

🖥 GPT Pilot — это инструмент для автоматизации разработки с помощью GPT-4, позволяющий генерировать, тестировать код и целые приложения через AI! 🌟 Проект фокусируется на автоматизации работы над задачами, ускоряя создание приложений и тестов. GPT Pilot взаимодействует с разработчиком, интерпретируя запросы на естественном языке для генерации кода, что делает его полезным для быстрой разработки и прототипирования. 🖥 Github @data_analysis_ml

Только что вышел Apache Kafka 3.9.0🔥 Это крупный релиз, последний в линейке 3.x. Это также будет последний крупный релиз, в котором будет добавлен устаревший режим Apache ZooKeeper®. Начиная с версии 4.0 и более поздних версий, Kafka всегда будет работать без ZooKeeper. ПОСЛЕДНЯЯ версия ZooKeeper 🫡 🥲 📌 Вот основные функции, о которых вам следует знать: https://www.confluent.io/blog/introducing-apache-kafka-3-9/ 📌 Скачать новую версию: https://downloads.apache.org/kafka/3.9.0/RELEASE_NOTES.html 📌Kafka БАЗА! Теория + Практика: https://www.youtube.com/watch?v=W7ZCXcxQxV8 @javatg

📌 Awesome-list методов глубокого обучения на графах при смещении распределения. Смещение распределения в графовых данных — это расхождение в распределении данных между обучающим и тестовым наборами, оно может существенно снизить производительность модели машинного обучения. Репозиторий на Github, в котором собрана коллекция работ по обучению на графах в условиях смещения данных вне распределения (Out-of-Distribution, OOD) в трех основных сценария: 🟢обобщение графов OOD: 🟢адаптация графов во время обучения OOD: 🟢адаптация графов OOD во время тестирования. Обобщение OOD предполагает, что целевые данные недоступны во время обучения модели, и фокусируется на повышении способности модели к обобщению, чтобы справляться с выборками из любых неизвестных доменов. Адаптация во время обучения направлена на устранение расхождений в распределении между исходными и целевыми графовыми данными. Она служит для коррекции смещения наблюдений, переноса знаний между графами и смягчения негативных последствий аугментации данных. Адаптация во время тестирования сосредоточена на настройке предварительно обученной модели на новые целевые данные, которые становятся доступными после начальной фазы обучения. Эта адаптация особенно важна в случаях, когда доступ к исходным данным ограничен. В каждом сценарии рассматриваются модельно-ориентированные и ориентированные на данные подходы. ▶️Для многих статей предоставлены ссылки на код, реализующий описанные методы. 🟡Arxiv 🖥GitHub @ai_machinelearning_big_data #AI #ML #GNN #Giihub #AwesomeList

💡Управление камерой с открытым исходным кодом, позволяющее целенаправленно менять каждый кадр с помощью недавно выпущенного DimensionX! 🚩 Он также может создавать любые 3D / 4D сцены 📌 Страница проекта: https://chenshuo20.github.io/DimensionX/ 📌 Код: https://github.com/wenqsun/DimensionX 📌 Arxiv: https://arxiv.org/abs/2411.04928

🖼 AdvancedLivePortrait-WebUI — это инструмент, позволяющий анимировать статичные изображения, создавая реалистичные движения лиц! 🌟 В проекте используется WebUI и модели глубокого обучения для генерации анимаций. Платформа предлагает поддержку различных настроек и параметров, чтобы пользователи могли адаптировать анимацию под свои нужды. 🔐 Лицензия: Apache-2.0 🖥 Github @data_analysis_ml

🌟 AdaCache: ускорение DiT в генерации видео через необучаемое адаптивное кэширование. AdaCache основан на наблюдении, что «не все видео одинаковы»: некоторым видео требуется меньше шагов денойза для достижения приемлемого качества, чем другим. AdaCache использует кэширование остаточных вычислений в блоках трансформера (например, выходные данные механизмов внимания или MLP) на определенном шаге диффузии и повторного использования их на нескольких последующих шагах, количество которых зависит от генерируемого видео. Решение о том, когда нужно выполнить следующее вычисление, принимается на основе метрики расстояния, которая измеряет скорость изменения между сохраненными и текущими представлениями. Чтобы избежать артефактов для динамики используется регуляризация движения (MoReg). MoReg оценивает движения в латентном пространстве на основе разности остаточных кадров, а чтобы эта оценка была эффективна на ранних шагах диффузии, MoReg вычисляет градиент движения, который выступает в качестве разумного раннего предиктора. И оценка движения, и градиент движения используются в качестве масштабирующего фактора метрики расстояния для регуляризации схемы кэширования AdaCache. AdaCache был протестирован на Open-Sora-v1.2, Open-Sora-Plan-v1.1 и Latte. Результаты показали, что AdaCache обеспечивает ощутимое ускорение без ущерба для качества генерации. Фактически, он достигает ускорения в 4.49x, 3.53x и 2.46x соответственно на трех рассмотренных базовых видео. Прикладной кейс использования AdaCache предлагается на бейслайне Open-Sora с вариантами запуска: Baseline, AdaCache и AdaCache+MoReg. ⚠️ Пример инференса рекомендуются на одном GPU A100 (80Gb) ▶️Инференс:

# Baseline
bash run_sample_video.sh configs/sample.py

# AdaCache
bash run_sample_video.sh configs/sample_adacache.py

# AdaCache+MoReg
bash run_sample_video.sh configs/sample_adacache_moreg.py

📌Лицензирование: Apache 2.0 License. 🟡Страница проекта 🟡Техотчет 🖥GitHub @ai_machinelearning_big_data #AI #ML #DiT #AdaCache #Text2Video