Data Scientist | IT

Resemble Enhance — нейросеть для улучшения голоса и очистки от шума #почитать Он состоит из двух модулей: шумоподавителя, который отделяет речь от шумного аудио, и улучшателя, который повышает качество звука, устраняя искажения и расширяя полосу пропускания. Модели обучены на высококачественных речевых данных с частотой дискретизации 44.1 кГц. Проще говоря, это портативный улучшатель записей голоса, который может пригодиться буквально всем, кто работает с медиа/контентом/звуком. ⏱Читать статью

Промпт-инжиниринг: как найти общий язык с ИИ #почитать Основополагающим принципом в промпт-инжиниринге является ясность и точность формулировки запросов. ⏱Читать статью

Обзор YOLO детекторов #почитать Сейчас такая задача решается с помощью двух типов алгоритмов: one-step алгоритм детекции, например You Only Look Once (YOLO), и two-steps алгоритм, например Faster Region-Based Convolutional Neural Network (Faster R-CNN). Двухстадийный подход имеет ряд недостатков: долгое обучение и инференс, плохое качество детекции маленьких объектов, неустойчивость к различным размерам входных данных. Одностадийный алгоритм детекции подразумевает одновременное выполнение детекции и классификации, что обеспечивает end-to-end обучение с сохранением высоких показателей как точности, так и скорости. ⏱Читать статью

Ищем лучшие настройки для аугментации текстов #почитать Работа каждого ML-инженера — сделать свою модель лучше. Чтобы этого достичь, нужно либо работать над моделью, либо повышать качество и количество данных. Мы рассмотрим второй путь. ⏱Читать статью

Real-time-распознавание лиц: методы обучения моделей на мобильных девайсах #почитать В этой статье я расскажу про постановку задачи распознавания лиц, подходящие мобильные архитектуры, обучение распознаванию лиц на больших объемах данных и способы повысить точность маленькой архитектуры. ⏱Читать статью

Retrieval-Augmented Generation (RAG) в языковых моделях #почитать Расширение возможностей больших языковых моделей за счёт интеграции мощных механизмов поиска информации. По сути, это двухэтапный процесс, включающий компоненты поиска (retriever) и генерации (generator). ⏱Читать

Собеседование Data Scientist. Поведенческое интервью #почитать Работодателю в процессе собеседования крайне важно оценить, насколько хорошо человек впишется в компанию, поскольку сотрудники, которые хорошо вписываются в культуру, имеют более высокую удовлетворенность работой, отличную производительность труда и с большей вероятностью остаются в компании. ⏱Читать статью

Есть ли жизнь до fit/predict #почитать Роль хороших данных не стоит недооценивать, грамотный отбор может помочь значительно ускорить и удешевить обучение с одной стороны, тогда как отбраковка откровенно плохой разметки поможет улучшить качество с другой. ⏱Читать статью

Mojo: будущее AI #почитать Посмотрим, как обучить простую сверточную нейронную сеть, и разберём один из методов машинного обучения — линейную регрессию. В качестве примеров задач возьмем стандартные соревнования машинного обучения: предсказание стоимости жилья и классификацию рукописных цифр MNIST. Для проведения экспериментов на Python используем фреймворк машинного обучения PyTorch. А на Mojo — фреймворк машинного обучения Basalt. ⏱Читать

Мониторинг токсичного контента в AI продуктах #почитать

Данный промпт позволяет составить полноценный план из 20 шагов по тому, как освободить LLM от ограничений, позволить ей получить доступ к IP- адресам, интернету, телефонам и начать влиять на них по своему усмотрению.

⏱Читать

Новая модель OpenAI вводит в заблуждение по новому #почитать Независимая исследовательская компания Apollo, занимающаяся исследованиями безопасности искусственного интеллекта, обнаружила заметную проблему. Apollo поняла, что модель выдает неверные результаты по-новому. Иногда обман казался безобидным. В одном примере исследователи OpenAI попросили o1-preview предоставить рецепт брауни с онлайн-ссылками. Ход мыслей модели, функция, которая должна имитировать то, как люди разбивают сложные идеи, внутренне признал, что она не может получить доступ к URL-адресам, что делает запрос невозможным. Вместо того, чтобы сообщить пользователю об этой слабости, o1-preview продолжила, генерируя правдоподобные, но поддельные ссылки и их описания. ⏱Читать статью

Если вы не платите за товар, значит вы и есть товар #почитать Соцсеть LinkedIn включила учётные записи пользователей в обучающие датасеты моделей генеративного ИИ. Есть опция отказа. ⏱Читать статью

Quantinuum о своём прогрессе в создании квантового ИИ #почитать Группа исследователей из Quantinuum достигла значительного прогресса в области возможного использования квантового искусственного интеллекта (ИИ), сообщив о первой реализации масштабируемой квантовой обработки естественного языка (QNLP). ⏱Читать статью

👀Хотите освоить инструменты для построения и применения моделей машинного обучения на больших наборах данных? Ждем вас на открытом вебинаре 8 октября в 20:00 мск, где мы разберем: - обзор возможностей Spark; - как разрабатывать модели на Spark ML; - как выводить модели в промышленное использование. Урок для инженеров данных, ML-инженеров и Data Scientist'ов. Спикер Вадим Заигрин — опытный разработчик, Data Engineer и Data Scientist. Team Lead команд инженеров данных на разных проектах. Встречаемся в преддверии старта курса «Spark Developer». Все участники вебинара получат специальную цену на обучение! ▶️ Регистрируйтесь прямо сейчас, чтобы не пропустить мероприятие: https://u.to/E-3kIA Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, erid: LjN8KQZxS

Путеводитель для диффузионок. Как заставить нейросети качественно редактировать изображения #почитать Мы предложили метод редактирования реальных изображений с помощью диффузионных моделей, который достигает лучшего среди всех методов компромисса между качеством редактирования и сохранением структуры исходного изображения, а также эффективен с вычислительной точки зрения. ⏱Читать статью

Складской учет без складской программы #почитать Итак, у нас есть обработчик сообщений, поступающих из Телеграм. Будем отправлять их на обработку большими языковыми моделями (LLM), в просторечье именуемыми искусственным интеллектом (куда уж сегодня без него). State‑of‑art модели сейчас позволяют организовать вызов функций на основе запроса, сформулированного на обычном человеческом языке. т. е. пользователь говорит что‑то типа: апельсины пришло 100, или апельсины поступило 100 или апельсины приход 100 или пришло 100 апельсинов и т. д. Большая языковая модель в любом случае понимает, что речь идет о поступлении на склад и предлагает вызвать функцию поступления. В нашем случае будет достаточно всего трех функций: поступление, списание и остаток. При каждом вызове большой языковой модели, будем передавать описание этих трех функций. ⏱Читать статью

Создание искусственного датасета для обучения модели с Paddle OCR #почитать

Когда перед нами встала задача распознавания текста на иврите, стало ясно, что найти готовый датасет с нужными характеристиками практически невозможно.

⏱Читать статью

Фреймворк SMOTE #почитать Часто бывает, что сами данные представляют собой гораздо большую ценность, чем модель, которая на них обучилась, поскольку процесс получения этих данных может быть гораздо сложнее, опаснее, дороже, чем обучение модели. Поэтому набирает популярность генерация наборов данных, создаются специальные фреймворки. Сегодня речь пойдет об одном из таких фреймворков, SMOTE, или же Synthetic Minority Oversampling Technique. ⏱Читать статью

🔵🗣Вырасти до хардового Middle+ аналитика. Как? Добавьте к своим скилам навыки в проектировании архитектуры и интеграций веб-сервисов! Рассмотрите — авторский курс про архитектуру и интеграции с практикой. ————— По результатам курса вы: ▫️научитесь выбирать стиль интеграции под вашу задачу; ▫️сможете проектировать с нуля и описывать интеграции в современных стилях (API: REST, SOAP, gRPC и др. + брокеры сообщений); ▫️поймете, как правильно собирать требования и моделировать в UML; ▫️подготовитесь к собеседованию, решив более 100 тестов; ▫️разработаете свой API на Python; ————— 🟢Вы получите большую базу фундаментальных знаний, доступ к урокам и обновлениям остается навсегда 💡 • Всю программу и отзывы смотрите в боте курса. • Бонусный модуль про проектирование баз данных — нормализация, транзакции, основы DWH, индексы. • Результат после прохождения курса: 15 рабочих проектов в портфолио. • Доступ к чату учеников (общение, обмен опытом, помощь внутри сообщества) 🔹🔹 С чего начать?🔹🔹 С открытых бесплатных уроков по архитектуре и интеграциям в чат-боте курса. Переходите. 👇 @studyit_help_bot Скидка на курс от канала — 1 000₽ по промокоду DATAS до 30 сентября

Drag and drop деплой ML-моделей #почитать У нас много ML-моделей, которые нужно тестировать и внедрять в прод. Все это создает высокий темп разработки c кучей рутинных и ручных операций — от постановки задачи до продуктивизации и сопровождения модели. Мы смогли частично победить эту рутину с помощью drag and drop деплоя ML-моделей через web-интерфейс. В этой статье расскажем, что у него под капотом и какие функции в нем реализованы. Бо́льшая часть нашей работы — это различные батчевые скоринги моделями градиентного бустинга. ⏱Читать