Data Science | Machinelearning [ru]

​​🌟Sweep — AI-джун, который самостоятельно исправит мелкие ошибки в коде Sweep — младший разработчик искусственного интеллекта, который превращает ошибки и запросы функций в изменения кода. Sweep автоматически обрабатывает улучшения Devex, такие как добавление подсказок или улучшение тестового покрытия. 🖥GitHub 🟡Доки @Devsp — Подписаться

​​🚀Быстрая Data Quality проверка на базе алгоритма adversarial validation Из этой статьи вы узнаете, как оценивать качество данных при помощи алгоритма adversarial validation с использованием spark user defined function. Читать...

❓Как произвести интеграцию SQL и Pandas для анализа данных? Присоединяйтесь к открытому уроку "Интеграция SQL и Pandas для анализа данных", где вы: - узнаете, как сочетать мощь SQL и гибкость Pandas для комплексного анализа данных; - попрактикуетесь в интеграции SQL-запросов и Pandas, обработке и сохранении результатов анализа в базе данных. Спикер Роман Козлов – руководитель курса "Python для аналитики", аналитик Big Data/системный аналитик с опытом 8+ лет. Дата и время открытого урока: 28 мая в 20:00 Мск Все участники вебинара получат специальную цену на курс «Python для аналитики» и консультацию от менеджеров OTUS! 👉 Регистрируйтесь прямо сейчас, чтобы не пропустить бесплатный урок: https://otus.pw/sqoF/ Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru

​​⚡️ Adobe выпустила DMD2! Новый усовершенствованный метод дистилляции, который может превратить диффузионные модели, такие как SDXL, в мощные одношаговые генераторы изображений. ▪Project page: https://tianweiy.github.io/dmd2/ ▪Code: https://github.com/tianweiy/DMD2 ▪Demo: https://4e4a5c6a8b08f76802.gradio.live @Devsp — Подписаться

​​🖥Дайджест самых интересных публикаций за последние дни: • Prompt engineering — путь к эффективной работе с ChatGPT • Чем новый ChatGPT-4o отличается от GPT-4, что умеет и почему это супер-важно • Распознавание именованных сущностей: механизм, методики, сценарии использования и реализация

​​🌟WhisperKit — распознавание речи на устройствах Apple с помощью Whisper WhisperKit — это пакет Swift, который интегрирует популярную модель распознавания речи Whisper от OpenAI с платформой Apple CoreML для эффективного локального вывода на устройствах Apple. 🖥GitHub 🟡Hugging Face @Devsp — Подписаться

​​😎Распознавание именованных сущностей: механизм, методики, сценарии использования и реализация В этой статье мы расскажем о том, что такое NER, о его принципах работы и о том, как оно используется в реальной жизни. Читать...

​​🔥 YOLOv10: Real-Time End-to-End Object Detection В новой версии добавлена новая функция сквозного обнаружения объектов в реальном времени. Код выпущен под лицензией GNU GPL v3.0 По сравнению с YOLOv9-C, YOLOv10-B имеет на 46% меньшую задержку и использует на 25% меньше параметров при той же производительности. ▪Paper: arxiv.org/pdf/2405.14458 ▪Github: https://github.com/THU-MIG/yolov10/ ▪Demo :https://huggingface.co/spaces/kadirnar/Yolov10 ▪Colab: https://colab.research.google.com/github/roboflow-ai/notebooks/blob/main/notebooks/train-yolov10-object-detection-on-custom-dataset.ipynb#scrollTo=SaKTSzSWnG7s @Devsp — Подписаться

​​🧠Prompt engineering — путь к эффективной работе с ChatGPT В этой статье расскажу, как эффективно работать с ChatGPT в разных задачах и архитектуре. Читать...

​​🔥open_clip — open-source реализация CLIP CLIP — это нейросеть, разработанная OpenAI для выполнения задач визуального, а также языкового понимания. Алгоритмы нацелены на понимание связи между текстом и изображениями. 🖥GitHub 🟡Google Colab @Devsp — Подписаться

Открыта регистрация на Летнюю школу машинного обучения Сколтеха. SMILES-2024 — 12-дневный интенсивный курс для молодых специалистов, посвящённый современным статистическим методам машинного обучения. Темы этого года: большие языковые модели, мультимодальные подходы, мультиагентные системы, генеративные подходы, методы самообучения.  К участию приглашаются бакалавры, магистры и аспиранты вузов России, активно вовлечённые в сферу машинного обучения и планирующие связать свою карьеру с ИИ.  Школа пройдёт с 1 по 13 августа на исторической площадке Царского села (г. Пушкин) и онлайн. Участие бесплатное, но на основе конкурсного отбора. Подробности и подача заявки — здесь.

​​👤Чем новый ChatGPT-4o отличается от GPT-4, что умеет и почему это супер-важно В этой статье вы узнаете о новых способах взаимодействия с нейросетью, включая возможность выбора голоса и тембра, а также возможность поделиться экраном и обрабатывать визуальную информацию. Читать...

​​⚡️Cover-Agent — инструмент с открытым исходным кодом, включающий в себя реализацию TestGen-LLM от Meta для автоматического улучшения наборов тестов Cover-Agent использует генеративный искусственный интеллект для автоматизации и улучшения генерации тестов (сейчас в основном юнит-тестов). Cover-Agent может запускаться через терминал, в будущем его планируется интегрировать в популярные CI-платформы. Cover-Agent может работать через терминал, и его планируется интегрировать в популярные CI-платформы. 🖥GitHub 🟡Связанная статья Arxiv @Devsp — Подписаться

🫖 Как стать топовым Data-инженером? Хотите развиваться в Data-инжиниринге, но не знаете, что для этого нужно? Подключайтесь к вебинару от Слёрм «ИИ и инструменты Data-специалиста» и получите инсайдерские знания о том, как улучшить свои навыки и стать лидером в области обработки данных. Когда? 27 мая в 19:00 ➡ Зарегистрироваться В программе: - Вкатились в Data-инжиниринг. Что дальше? - Управление знаниями: персональная Data-инженерная вики. - Где и как рисовать диаграммы и схемы? - Чат-боты и ChatOps: персональный помощник Data-инженера. - Какие софт скиллы нужны Data-инженеру? - Нужны ли Data-инженеру пет-проекты и участие в хакатонах? - Как влиться в DE-комьюнити? Спикеры: Николай Марков, Data Platform Lead в компании Altenar, спикер курса Слёрма «Data-инженер», 11 лет опыта в разработке и проектировании. Игорь Мосягин, Data-*разработчик в shrimpsizemoose AB, PhD по теоретической физике. ❓ А еще на вебинаре вас ждёт анонс нового и пока секретного проекта. Приходите, чтобы узнать подробности! До встречи 27 мая! ➡ Регистрируйтесь в боте Реклама ООО «Слёрм» ИНН 3652901451, erid: 2VtzqusiBw1

​​🚀 MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning MoRA - новый метод использования высокоранговых обновлений весов для файнтюнига моделей при сохранении того же количества обучаемых параметров, как и при использовании матриц низкого ранга. ▪repo: https://github.com/kongds/MoRA ▪abs: https://arxiv.org/abs/2405.12130 @Devsp — Подписаться

​​⚡️Phi-3-medium-4k-instruct Phi-3 Vision — это легкая, современная открытая мультимодальная модель, построенная на наборах данных, которые включают в себя синтетические данные и отфильтрованные общедоступные веб-сайты с упором на очень высококачественные, аргументированные и плотные данные как в текстовом, так и в визуальном виде. Модель прошла тщательный процесс усовершенствования, включающий как контролируемую точную настройку, так и прямую оптимизацию предпочтений, чтобы обеспечить точное соблюдение инструкций и надежные меры безопасности. - Phi-3-Vision: https://huggingface.co/microsoft/Phi-3-vision-128k-instruct - Phi-3-Small:  ~8k: https://huggingface.co/microsoft/Phi-3-small-8k-instruct  ~128k: https://huggingface.co/microsoft/Phi-3-small-128k-instruct - Phi-3-Medium:  ~4k: https://huggingface.co/microsoft/Phi-3-medium-4k-instruct  ~128k: https://huggingface.co/microsoft/Phi-3-medium-128k-instruct @Devsp — Подписаться

​​⚡️Devon — open-source AI-программист Devon — AI-помощник, которого можно использовать для парного программирования; open-source аналог Devin. Использует API Anthropic, или OpenAI, или Groq. 🖥GitHub 🟡Пример использования @Devsp — Подписаться

​​⚡️ Layer-Condensed KV Cache Layer-Condensed KV Cache — новый вариант декодеров-трансформеров, в котором запросы всех уровней сочетаются с ключами и значениями только верхнего уровня. Обеспечивает в 26 раз более высокую пропускную способность по сравнению со стандартными трансформерами и помогает увеличить производительность больших языковых моделей. ▪repo: https://github.com/whyNLP/LCKV ▪abs: https://arxiv.org/abs/2405.10637 @Devsp — Подписаться

Стать сотрудником Яндекса быстрее и проще, чем кажется. Участвуйте в днях быстрого найма: решите тестовое, пройдите несколько секций собеседования и получите офер за несколько дней. Ближайшее Fast Track мероприятие: • 8–9 июня — для дата-инженеров, офер за 2 дня в DWH команды Маркета. Зарегистрироваться

​​🔥 GaussianObject: Just Taking Four Images to Get A High-Quality 3D Object with Gaussian Splatting GaussianObject — платформа для представления и рендеринга 3D-объектов с помощью гауссовских пятен, которая обеспечивает высокое качество рендеринга всего с четырьмя входными изображениями. ▪️Github: https://github.com/GaussianObject/GaussianObject ▪️Colab: https://colab.research.google.com/drive/1WIZgM--tJ3aq25t9g238JAuAoXrQYVMs?usp=sharing#scrollTo=TlrxF62GNePB ▪️Project: https://gaussianobject.github.io @Devsp — Подписаться