Анализ данных (Data analysis)

⚡️ Яндекс объявил победителей ежегодной научной премии Yandex ML Prize. В этом году из 160 заявок выбрали 14 учёных, которые представили наиболее значимые разработки в области генеративных моделей, обработки естественного языка, компьютерного зрения, информационного поиска, распознавания и синтеза речи, когнитивной робототехники. Вот некоторые из лауреатов: 🟢 Елена Тутубалина (Казанский федеральный университет, AIRI) занимается исследования в в области анализа естественного языка, биомедицинских и химических данных. Её разработки могут сделать процесс разработки лекарств более эффективным. 🟢 Алексей Скрынник (AIRI) разрабатывает алгоритмы многоагентного обучения, которые позволяют агентам (например, роботам) работать автономно, без центрального управления. Эти методы подходят для задач, где важна скоординированность действий, например, в логистике и на промышленных объектах. 🟢 Валерия Ефимова (ИТМО) ведет научную деятельность в области компьютерного зрения в областях медицины и промышленности. Её исследования могут повысить эффективность производства в промышленных предприятиях — находить дефекты и оценивать качество материалов. А что они получат за свои достижения? Денежные награды, а также доступ к Yandex 360 и гранту на работу с сервисом Yandex Cloud — с его помощью можно выполнять объёмные вычисления и обрабатывать данные экспериментов. @data_analysis_ml

🖥 zerox — инструмент для извлечения текста и структурированной информации из PDF-документов с использованием методов OCR (распознавания текста) и NLP 🌟 Основной акцент сделан на поддержку «нулевого этапа обучения» (zero-shot), что позволяет извлекать текстовые данные из документов без необходимости предварительной настройки или обучения на конкретных данных. Проект предназначен для автоматизации анализа и обработки PDF в бизнес-приложениях 🔐 Лицензия: MIT 🖥 Github @bigdatai

📖 Книга "Algorithms for Decision Making" от MIT охватывает алгоритмы и методы для принятия решений в условиях неопределённости 🌟 В книге обсуждаются такие темы как оптимизация мл-алгоритмов , машинное обучение, вероятностные модели и планирование, с акцентом на алгоритмы для принятия решений в реальном времени и под воздействием ограничений. Этот материал полезен для специалистов в областях искусственного интеллекта, дата саентистов, робототехники и инженерии, где важно оптимизировать стратегии в условиях ограниченной информации. 🔗 Ссылка: *клик* @data_analysis_ml

Как нужно укомплектовать команду ML для решения задачи? 🔹Расскажем на открытом уроке «Структура и построение ML команды» про композицию ML команды, различные роли в ней и их зоны ответственности ✅ Поговорим о том, зачем нужны ролы Data Scientist, Data Analyst, BI Analyst, ML Engineer, Data Engineer. Как организовать работу команды и взаимодействие внутри нее. Урок приурочен новому курсу «ML Team Lead» от Otus. 👉 Регистрация и подробности: https://otus.pw/P1bV/?erid=LjN8KSHoV #реклама О рекламодателе

📚 Свежие гайды от Anthropic : Реализация Contextual RAG с открытым исходным кодом Что внутри : 1. Использование Llama 3.2 3B для эффективной генерации контекста для каждого чанка 2. Использование алгоритмов ранжирования: векторного и BM25 3. Выполнение гибридного поиска 4. Ранжирование результатов гибридного поиска 5. Генерации с помощью Llama 3.1 405B 📌 Смотреть @data_analysis_ml

🔥 Rocketnotes — веб-приложение для ведения заметок с поддержкой Markdown, оснащённое инструментами генерации текста и семантического поиска на базе LLM! 🌟 Приложение полностью работает без сервера и поддерживает локальный запуск с Docker. Среди функций — иерархия документов, подсветка синтаксиса, поиск по содержимому и взаимодействие с заметками через чаты 🔐 Лицензия: MIT 🖥 Github @data_analysis_ml

Тренажёр-практикум Python и SQL (от NumPy и OpenCV до PostgreSQL) в аналитике данных и ML Откройте карьерные возможности в машинном обучении и аналитике данных - Научитесь проводить анализ больших объёмов данных. - Создавайте интерактивные и 3D-визуализации для представления данных. - Освойте работу с SQL-базами для хранения, модификации и извлечения данных. Для кого будет полезен этот тренажёр? Аналитикам данных, бизнес-аналитикам и продуктовым специалистам: Новичкам и продолжающим в области анализа и визуализации данных, которые хотят освоить ключевые инструменты для эффективного анализа и машинного обучения. Тем, кто уже знаком с Python и стремится развиваться в аналитике данных и ML: Разработчикам и специалистам по данным, стремящимся углубить навыки обработки данных и визуализации. Инженерам данных и всем заинтересованным: Тем, кто сталкивается с трудностями при предобработке данных для моделей машинного обучения и хочет выстроить системный подход к работе. Тем, кто стремится автоматизировать процессы и управлять данными: После курса вы научитесь эффективно работать с NumPy и Pandas, создавать визуализации через Matplotlib и Seaborn, а также управлять базами данных с PostgreSQL. 🎓 Попробуйте первые уроки бесплатно! В демо-версии курса вы познакомитесь с основами библиотек NumPy, Pandas и Matplotlib, научитесь создавать и редактировать массивы, работать с изображениями и применять эти навыки для решения практических задач. Пройдите 6 практических заданий сразу! PS. В демо также доступен ИИ-бот ДуДу с code review 24/7. 👉 Регистрация на демо-доступ

📌Учебное пособие по диффузионным моделям для обработки изображений и СV. Учебник Стэнли Чана, профессора кафедры электротехники, вычислительной техники и статистики Purdue University (США), содержит ультраполезные знания в области диффузионных моделей в контексте обработки изображений и CV. Он доступно и детально объясняет сложные концепции и подходит как опытным профессионалам, так и тем, кто только начинает изучать эту область. Для профессионалов, уже работающих с диффузионными моделями или стремящихся углубить свои знания, этот учебник послужит отличным ресурсом, который предоставляет прочную основу для понимания и применения концепций в прикладных задачах. ▶️ Содержание: Вариационный автоэнкодер (VAE) 🟢Структурные элементы VAE 🟢Нижняя граница доказательства (ELBO 🟢Оптимизация в VAE 🟢Заключение и ограничения Вероятностная модель диффузионного денойза (DDPM) 🟠Базовые элементы DDPM 🟠Нижняя граница доказательства (ELBO) 🟠Распределение обратного процесса 🟠Обучение и инференс 🟠Предсказание шума 🟠Неявная модель диффузионного денойза (DDIM) 🟠Заключение и преимущества DDPM и DDIM Динамика сопоставления баллов Ланжевена (SMLD) 🟢Выборка из распределения 🟢Функция оценки Штейна 🟢Методы сопоставления баллов 🟢Итоги по SMLD Стохастическое дифференциальное уравнение (SDE) 🟠От итерационных алгоритмов к обыкновенным дифференциальным уравнениям 🟠Что такое SDE? 🟠SDE для DDPM и SMLD 🟠Численные решатели для ODE и SDE 🟠Заключение и взаимосвязь между DDPM, SMLD и SDE Уравнения Ланжевена и Фоккера-Планка 🟢Броуновское движение 🟢Мастер-уравнение 🟢Разложение Крамерса-Мойала 🟢Уравнение Фоккера-Планка 🟢Заключение и связь между SDE и уравнением Фоккера-Планка 🟡Arxiv @ai_machinelearning_big_data #AI #ML #Tutorial #Duffusion

🖼 DreamCraft3D — метод для иерархической генерации 3D-объектов с помощью диффузионных моделей. Этот подход, разработанный для ICLR 2024, использует поэтапную генерацию форм, включая начальную грубую геометрию и уточнение деталей, что позволяет создавать высококачественные 3D-модели 🔐 Лицензия: MIT 🖥 Github @data_analysis_ml

❓Узнайте как построить модель финансового рынка, создать и обучить торгового агента с использованием специализированного фреймворка на открытом уроке в Otus Моделировать финансовый рынок непростая задача, а когда мы хотим обучить торгового агента для эффективной работы, она становится непосильной для одного человека На открытом уроке «Построение торгового агента на базе алгоритмов обучения с подкреплением» рассмотрим свободно распространяемые фреймворки для моделирования финансового рынка ✅ Сосредоточимся на финансовой стратегии, а детали реализации алгоритма фреймворк возьмет на себя  Регистрация на урок 👇 https://otus.pw/tw3f/?erid=LjN8K5QHu #реклама О рекламодателе

🔦Компания alvinzhang только что выпустила версию IC-Light v2 IC-Light v2 теперь работает на FLUX и является лучшим инструментом для htlfrnbhjdfybz освещения в мире 🌐 Попробуйте официальную демку ✨📣 https://huggingface.co/spaces/lllyasviel/iclight-v2 @data_analysis_ml

🖼 DreamCraft3D — метод для иерархической генерации 3D-объектов с помощью диффузионных моделей. Этот подход, разработанный для ICLR 2024, использует поэтапную генерацию форм, включая начальную грубую геометрию и уточнение деталей, что позволяет создавать высококачественные 3D-модели 🔐 Лицензия: MIT 🖥 Github @data_analysis_ml

🎮 Quake3LLM - это проект, который позволяет создавать ботов для игры Quake 3 Arena, используя язык программирования C++. Боты общаются между собой и игроками посредством Llama.cpp. В целом, тексты, генерируемые этими ботами, выглядят нормально, но иногда встречаются странные фразы. Проект доступен на GitHub по ссылке https://github.com/jmarshall23/Quake3LLM. @data_analysis_ml

⚡️ Brush — это инструмент для создания 3D-моделей с помощью метода Gaussian splatting. Онаработает на разных платформах: macOS, Windows, Linux и Android. Программа позволяет создать 3D модель объекта, используя множество фотографий этого объекта под разными углами. *Brust написан на я Rust. В нём используются библиотеки wgpu и Burn, которые позволяют создавать независимые бинарные файлы и запускать их на различных устройствах. 📌 Ссылка на репозиторий Brush @data_analysis_ml

🎓 LongVU LongVU, видеоредактор с пространственно-временным механизмом адаптивного сжатия, предназначенный для понимания видео продолжительностью в час в реальном времени. LongVU адаптивно сокращает количество видео-маркеров, используя (1) сходство функций DINOv2 в разных кадрах, (2) Кросс-модальное сходство текстовых кадров и (3) сходство временных кадров. 1. Высокое качество работы: 67,6% на EgoSchema, 66,9% на MVBench, 65,4% на MLVU и 59,5% на VideoMME long 2. повышение точности в среднем на 5% в различных тестах понимания видео по сравнению с LLaVA-OneVision и VideoChat2 3. Модель, LongVU-3B, также значительно превзошла аналоги 4B, такие как VideoChat2(Phi-3) и Phi-3.5-vision-instruct, по производительности. 📝Статья: https://huggingface.co/papers/2410.17434 💻Код: https://github.com/Vision-CAIR/LongVU 🚀Проект (демо): https://vision-cair.github.io/LongVU @data_analysis_ml

⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь: МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data C++ t.me/cpluspluc Python: t.me/python_job_interview Хакинг: t.me/linuxkalii Devops: t.me/DevOPSitsec АНАЛИЗ Данных: t.me/data_analysis_ml Javascript: t.me/javascriptv C#: t.me/csharp_ci Java: t.me/javatg Базы данных: t.me/sqlhub Linux: t.me/linuxacademiya Python собеседования: t.me/python_job_interview Мобильная разработка: t.me/mobdevelop Docker: t.me/DevopsDocker Golang: t.me/Golang_google React: t.me/react_tg Rust: t.me/rust_code ИИ: t.me/vistehno PHP: t.me/phpshka Android: t.me/android_its Frontend: t.me/front Big Data: t.me/bigdatai Собеседования МЛ: t.me/machinelearning_interview МАТЕМАТИКА: t.me/data_math Kubernets: t.me/kubernetc 💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy Папка FRONTEND: https://t.me/addlist/mzMMG3RPZhY2M2Iy 😆ИТ-Мемы: t.me/memes_prog 🇬🇧Английский: t.me/english_forprogrammers 🧠ИИ: t.me/vistehno 🎓954ГБ ОПЕНСОРС КУРСОВ: @courses 📕Ит-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy

🔥 Небольшой курс от Anthropic по промпт-инженерингу! 🌟 Этот курс включает примеры, советы и задачи, направленных на улучшение точности и надежности ответов модели. Он предназначен для того, чтобы вы могли глубже понять принципы работы с большими языковыми моделями и лучше управлять результатами генерации, повышая качество и соответствие запросов и ответов моделей! 🖥 Github @vistehno

🎧В чем разница между DS в банке и DS в промышленности? Рассказывает директор ИИ-департамента «Русала» Как объединить данные со 100 региональных площадок в одну эффективную базу? Насколько часто нужно переобучать модель в промышленности и что влияет на дрейф данных? Кого промышленные DS хотят видеть в своей команде и похожи ли их задачи на задачи финтеха? Ответы найдете в новом выпуске подкаста «Деньги любят техно». Общаются Юлий Шамаев, ВТБ, Михаил Граденко, «Русал», и технологический обозреватель Марина Эфендиева. Для справки: этот сезон подкаста выходит также в видеоформате и целиком посвящен ML в разных отраслях. В прошлом эпизоде, кстати, говорили о ретейле вместе с Авито. Послушать выпуск в аудиоверсии Посмотреть видеоверсию в ВК

🔈 Vocal Remover — бесплатный онлайн-инструмент для разделения вокала и музыкального сопровождения в треках, улучшения качества аудио а также изменение высоты тона и скорости трека! 🔗 Ссылка: *клик* @data_analysis_ml

⚡️ CtrLoRA: Расширяемая и эффективная платформа для генерации управляемых изображений Сперва обучается ControlNet с LORA, настроенный на конкретные задачи, с использованием крупномасштабного датасета. Затем базовая сеть ControlNet может быть эффективно адаптирована к новым задачам с помощью новой LoRa, которой необходимо всего 1000 изображений и менее 1 часа на одном графическом процессоре. Это сокращает количество параметров на 90%, что значительно упрощает создание новых условий управления. ▪️Github ▪️Статья ▪️Модель @data_analysis_ml