Generative Ai

Наткнулся на совершенно фантастическое качество конвертации английского текста в голос нейронкой. Если честно, в Open Source такого качества не видел пока что, и там много голосов, вот страница с примерами. Вдруг кому-то полезно будет для проектов англоговорящих – алгоритм называется Tortoise: 🐢 Код | Колаб

Системные знания и практику по Java не заменить информацией из интернета, а хорошие курсы стоят дорого, но! В Kata Academy можно выучиться на Java-разработчика бесплатно, а заплатить уже после трудоустройства по специальности из фактической зарплаты. Если задуматься, то все в выигрыше 👉 —Ты получаешь работу с хорошей зарплатой, мы получаем процент за инвестиции в тебя и продолжаем прокачивать твои навыки еще 2 года; — в наших интересах научить тебя так, чтобы твоя зарплата была как можно выше; — мы развиваем твои навыки и после курсов: проводим выездные мероприятия и мастер-классы — и доходы наших выпускников растут; — мы не зависим от банков и их рассрочек — кризис не повлиял на доступность курсов. Чтобы попасть на курс, нужно выполнить небольшое тестовое задание. Переходи по ссылке и оставляй заявку!

Если вы хотите уметь решать Computer Vision задачи end-to-end, начиная от краудсорсинга данных, заканчивая автоматизацией деплоя, то записывайтесь на курс Ракета в Computer Vision от DeepSchool. На курсе вы научитесь краудсорсить, быстро учить модели, ускорять сетки, создавать сервисы, автоматизировать их деплой, настраивать мониторинг и многое другое. Переходите по ссылке, чтобы узнать программу и прочитать отзывы.

​Настоящие революции в мире ML происходят не так часто — что случилось что-то серьезное, можно понять по сообщениям в твиттере от ML-инженеров в стиле: «У меня просто руки опускаются теперь что-то делать», «Я не вижу смысла продолжать свое исследование» и тп. Речь идет о задаче генерации картинки по тексту, и я про новую версию DALL•E от OpenAI, о которой кажется все уже написали. Нейронка может работать в трех режимах: ✨ Генерировать картинку с нуля; ✨ Дорисовывать часть картинки; ✨ Сгенерировать новые версии картинки на входе. Упрощенно, на пальцах, довольно сложно рассказать как работает этот подход (потому что на фразе «диффузионный декодер и диффузионную визуальную модель» обычные люди начинают плакать), но я подумаю над простым объяснением, как я делал тут. Ниже будет пост, где я собрал результаты генерации из разных твиттер тредов и дописал запросы по которым эти картинки генерировались (их никто не дорабатывал в фотошопе, это сырой выход из нейронки – в разрешении 1024х1024). А вот так выглядит интерфейс для генерации, доступ к которому пока есть только у ~400 человек (я тоже подал заявку и в списке ожидания):

​​15 Open Source библиотек для повышения качества данных Open Source библиотеки Python, которые помогут вам сделать данные лучше, чтобы избежать траты времени и упростить анализ данных. Статья

Аналитический митап от СберМаркета «Тележка данных» СберМаркет приглашает 14 апреля поговорить аналитике эффективности, борьбе с опозданиями и о планировании времени доставки. Спикеры поделятся, как работает аналитика в СберМаркете: «Борьба с опозданиями», Алексей Раскин, Руководитель отдела операционной аналитики в СберМаркете Поговорим об опозданиях и их причинах. Как искать заказы, из-за которых опаздываем, если в среднем все работает хорошо? «Планируем время быстрой доставки», Гарри Дасаев, Продуктовый аналитик в СберМаркете Расскажем о том, как продуктовый аналитик может помогать бизнесу на стыке продуктовой и операционной аналитики. Встреча состоится 14 апреля в 18:00, регистрация

Объёдинённый репозиторий для BERT, GPT, GPT-2, Transfo-XL, XLNet, XLM. Всего 27 претренированных моделей https://twitter.com/Thom_Wolf/status/1151169470498582529

💥Прими участие в онлайн-хакатоне «ТФ Альянс» с призовым фондом 500 000 рублей С 4 по 6 марта 2022 платформа токенизации проектных ИТ-команд «ТФ Альянс» проведет онлайн-хакатон для студентов и молодых IT-специалистов. Участники мероприятия поборются за призовой фонд в размере 500 тысяч рублей, а также 3-х дневное бесплатное проживание в HackerHome в Иннополисе, городе высоких технологий. Командам предстоит за 48 часов решить одну из трех задач на выбор с применением Data Science, Python и Blockchain: 👉 разработать робота-ассистента на основе Telegram-бота для тематической буферизации сообщений; 👉 создать систему учета метрик для оценки эффективности работы специалистов и команд в проектных задачах; 👉 разработать инструмент для обеспечения взаимосвязи блокчейнов реестра транзакций и реестра состояний. 🕛‼️Для участия нужно подать заявку до 23:59 2 марта 2022 года на сайте. Результаты будут объявлены 6 марта. https://tfalliance.ru/

Хотите и дальше развиваться в области Data Science? Сделайте первые шаги на открытом уроке «Natural language processing: как компьютер общается с людьми» 16 февраля в 18:00 (мск). Тексты встречаются в огромном числе Data Science задач: чат-ботах, голосовых ассистентах или поисковиках. Мария Тихонова, Senior Data Scientist в Сбере и руководитель программы курса в Отус, расскажет о принципах их работы и главных трендах в обработке естественного языка. Demo-занятие пройдет в рамках онлайн-курса «Machine Learning. Professional». Партнер курса — Сбер. Во время обучения вы можете выбрать проект от партнера. Пройдите тестирование https://otus.pw/BGFv/, чтобы: ● зарегистрироваться на бесплатное demo-занятия курса ● оценить свои навыки ● занять место на курсе по специальной цене ● получить доступ в закрытое сообщество дата-сайентистов

Вы руководите стартапом в сфере искусственного интеллекта или, может быть, работаете в секторе Интернета вещей или индустрии дополненной реальности? Нажмите здесь и узнайте, как вы можете воспользоваться программой Европейского Союза, не находясь в ЕС. Завоевать новых клиентов и новые контакты на европейском рынке. Ознакомьтесь с программой Poland Prize https://technopark.kielce.pl/polandprizerus/

Начать разбираться в AI и ML — легко! Смотрите, какой крутой проект — YouTube-канал "Академия искусственного интеллекта". Это совместный проект Сбера и Благотворительного фонда "Вклад в будущее". Цель проекта — помочь разобраться, что такое искусственный интеллект и машинное обучение. В коротких видео понятным языком рассказывают о новых веяниях ИИ, об олимпиадах, стажировках и хакатонах; а также дают много полезных ссылок и материалов, которые помогут лучше разобраться в теме. Вот несколько интересных видео: - Нейросеть DallE от Сбера: интервью с одним из создателей. - Почему ИИ стоит изучать. - Стажировка в Сбере. - Как достичь успеха в data science и IT В 2021 изученим AI и ML действительно стоит начать заниматься уже сейчас: чтобы не отодвигать изучение самой развивающейся сферы в мире и стать в ней первым! Академия ИИ докажет вам, что AI — это суперувлекательно! Подписывайтесь

⚡Для участия в Sibur Challenge 2021 срочно ищем data scientist и digital-специалистов, работающих с алгоритмами машинного обучения! Призовой фонд 650 000 рублей. Одна задача. 5 призовых мест. Регистрация и telegram-чат участников уже открыты! https://bit.ly/3kgP555 Что вас ждет: » Работа с реальной задачей от СИБУР Диджитал, IТ-компанией нефтехимической группы СИБУР; » Поддержка и ответы на вопросы - в чате и на субботних вебинарах; » Возможность объединяться в команды; » Прямой доступ к ведущим экспертам индустрии; » Возможность получить приглашение на работу или стажировку; » Дополнительные вознаграждения за активности; » Общение с единомышленниками; » Финальная презентация решений победителей; Подай заявку на участие! https://bit.ly/3kgP555 Добавляйся в чат и в числе первых получай доступ к данным по задаче!

Привет! Команда Cameos ищет крутого ML разработчика в лондонский офис Snapchat. Вас ожидают state-of-the-art computer vision задачи (https://www.thesun.co.uk/tech/13383120/snapchat-rolls-out-cartoon-lens/). Полагаются все плюшки работы в большой компании, при этом мы еще сохраняем дух стартапа внутри (компания AI Factory была недавно куплена Snap). Через год возможен relocation в Лос-Анджелес 😎🌴 Желающие попробовать свои силы пишите @akovalenko7

[OpenAI DALL·E] Zero-Shot Text-to-Image Generation Aditya Ramesh, Mikhail Pavlov, Gabriel Goh, Scott Gray, Chelsea Voss, Alec Radford, Mark Chen, Ilya Sutskever Статья: https://arxiv.org/abs/2102.12092 Пост в блоге: https://openai.com/blog/dall-e/ Код (официальный, но неполный): https://github.com/openai/dall-e Код (неофициальный, но более полный): https://github.com/lucidrains/DALLE-pytorch Обученная модель от Сбера: https://github.com/sberbank-ai/ru-dalle В последнее время появилось много мультимодальных трансформеров, и хочется их поразбирать. Нельзя обойти при этом наиболее известные модели, одна из которых — DALL·E от OpenAI. DALL·E прошумел уже довольно давно, в самом начале года, но статья и все детали реализации стали доступны не сразу (в официальной репе так вообще лежит только обученный dVAE, который лишь часть от DALL·E). Собственно, что такое DALL·E? Это декодер трансформера, который авторегрессионно умеет генерить изображения, “продолжая” заданное текстовое описание и, возможно, начальную часть изображения. В оригинальном посте было заявлено, что это 12-миллиардная версия GPT-3, обученная на парах картинок и их описаний, но реальность сильно сложнее. Начать стоит с того, что процесс обучения двухэтапный. На первом этапе обучается дискретный VAE (dVAE), сжимающий входную картинку 256*256 в картиночные токены на сетке 32*32, принимающие 8192 возможных значения каждый (то есть размер словаря). Это нужно для того, чтобы уменьшить количество токенов, с которыми должен дальше оперировать трансформер, и даёт уменьшение размера контекста в 192 раза. Часть высокочастотного сигнала в изображении при этом, ожидаемо, теряется, мелкие детали становятся плохо- или неразличимы, но в целом качество восстановления картинки после такого dVAE вполне достойно. Именно отсюда получается та самая своеобразная гладкость генеримых DALL·E картинок и проблемы с мелкими деталями, соответственно не для любого типа изображений DALL·E подходит, либо же процесс требует переобучения dVAE на более специальные кейсы. В dVAE никаких трансформеров нет, это свёрточный резнет. Второй этап — это собственно трансформер. 256 кодирующих текст BPE-токенов (словарь размера 16384) конкатенируются с 1024 картиночными токенами, полученными от dVAE, и эта последовательность авторегрессионно продолжается. Сам трансформер это 64-слойный sparse transformer от тех же OpenAI (https://arxiv.org/abs/1904.10509). Он хитрый, в нём три типа шаблонов внимания: 1) text-to-text классический masked механизм как в авторегрессионных языковых моделях по типу GPT, где текущий токен не имеет права заглядывать в будущие токены; 2) image-to-text, где каждый токен изображения смотрит на все токены текста; и 3) image-to-image, где используются паттерны из sparse transformer с вниманием по строкам, столбцам и более хитрыми свёрточными шаблонами, которые применяются только в последнем self-attention слое. При этом все три типа заведены в одну единственную операцию внимания, потому что это работало лучше, чем три отдельные операции. Авторы сначала экспериментировали на маленькой модели в 1.2B параметров и датасете в 3.3M пар картинка-текст, а потом отскейлили это на 12B модель и датасет в 250M пар (который пришлось собрать). Собственно этот скейлинг и составляет главные идейную и техническую часть работы. Идейно — показать, что обученная на большом датасете модель большого размера демонстрирует интересное поведение, а технически — заставить всё это работать, потому что вылезает много инженерных челленджей, не проявляющихся на меньших масштабах. По признанию авторов, самая сложная часть проекта была в том, чтобы обучить большую модель на 16-битных числах (вместо обычных 32-битных). Было много всяких нестабильностей, поэтому авторы придумали хитрые методы масштабирования градиентов для защиты от underflow. Другой челлендж — распределённое обучение, где использовался тонко настроенный вариант PowerSGD. За этими (на самом деле важными, если хотите повторить) техническими деталями обращайтесь в Appendix.

XTechnology - Real Data Science Project end-to-end: use-case in banking & collection Date: 30 October, 10am CEST Location: Online Price: Free Theme: #machine_learning #datascience #finance #data_analytics The potential of Data Science in debt collection has not been explored thoroughly. Hence, there is huge room for establishing the best practices in machine learning and data engineering. Starting from an initiation phase where business struggles with a particular problem. Up to an implementation phase where a cross-functional team can deliver direct value to the company. This talk will encourage you to use an analytical approach in the financial domain by showing a comprehensive picture of a data science project. Website: https://www.eventbrite.co.uk/e/real-data-science-project-end-to-end-use-case-in-banking-collection-tickets-193442370337?aff=telegram

⚡️29-31 октября пройдет онлайн-хакатон EVRAZ AI Challenge от международной горно-металлургической компании EVRAZ 🔥 Узнайте на хакатоне, чем айтишники занимаются в промышленности, а также ... 1️⃣ Продуйте металл через Data Science; 2️⃣ Разработайте компьютерное зрение для контроля опасных зон агломашины; 3️⃣ Станьте частью команды EVRAZ; 4️⃣ Прокачайте свои скиллы вместе с экспертами EVRAZ. Приглашаем принять участие всех, кому интересен Data Science и Computer Vision, ❗️Призовой фонд — 500 000 рублей❗️ Регистрируйтесь до 26 октября 23:59 по ссылке:https://clck.ru/YKDQY Обязательно приглашайте друзей и добавляйтесь в Telegram-чат, чтобы найти единомышленников: https://clck.ru/XzPqB

PlayButton: большая конференция Яндекса о видео Большая онлайн-конференция Яндекса, посвященная видео в интернете, пройдет 24 октября. Эксперты из Яндекс.Дзена, Кинопоиска и IVI расскажут о рекомендациях и доставке видео, Low Latency, параллельном транскодировании, QoS-метриках и особенностях склейки дублей. Регистрируйтесь, программа дополняется. Регистрация

Вебинар Бесплатный ML Space на базе инструментов Intel oneAPI для всех желающих. У нас отличные новости, инструменты Intel® oneAPI на облачной платформе ML Space стали доступны для физических лиц. Это значит, что любой желающий может бесплатно использовать набор программных инструментов для ускорения машинного обучения, анализа данных, разработки ПО. На вебинаре вы узнаете: — подробности об инструментах Intel® oneAPI; — сценарии применения этих инструментов для построения ML-моделей; — как получить бесплатный доступ к инструментам на платформе ML Space. Вебинар будет полезен всем, кто интересуется data science. Регистрируйтесь по ссылке. Вебинар пройдёт — 14 октября 2021, четверг, 12:00 *SberCloud — облачный провайдер услуг и сервисов для физлиц, бизнеса и государственных организаций.

8-11 ноября NVIDIA проводит свою конференцию в области ИИ, технологий и графики NVIDIA GTC. Конференция сейчас проходит онлайн, и участие в ней бесплатное. GTС объединит главных отраслевых экспертов, которые расскажут о самых актуальных разработках по направлениям AI&Deep Learning, Robotics, Automotive, GPU programming, Data Science, Graphics и др, а также о непосредственном применении этих технологий в различных сферах бизнеса. Всего в программе будет более 500 технологических сессий, включая выступления спикеров из OpenAI, PayPal, Tencent, Hugging Face, Amazon, Daimler Trucks, University of Oxford, Epic Games, Walmart, Mavenir а также МТС, Яндекс и стартапов-участников программы NVIDIA Inception. Помимо этого, конечно же, ждем keynote CEO NVIDIA Дженсена Хуанга, который традиционно рассказывает об основных трендах на рынке и анонсирует все самые важные новости NVIDIA. Поизучать программу и зарегистрироваться для бесплатного участия можно тут: https://nvda.ws/3CTlZiP

Вебинар — ML Space для бизнеса: сценаррии использования Мы продолжаем рассказывать вам о том, как машинное обучение и искусственный интеллект могут стать инструментами не только для ИТ-специалистов, но и для бизнес-пользователей. На этом вебинаре вы узнаете, как: — Найти, дообучить и развернуть готовую ML-модель для решения ваших бизнес-задач; — Обучить модель для решения ваших бизнес-задач с помощью AutoML в два клика, а затем интегрировать её с вашим продуктом (или использовать обученную модель по необходимости); — Развернуть собственный сервер или сервис на платформе ML Space для решения ваших бизнес-задач. Регистрируйтесь по ссылке на вебинар. *SberCloud — облачный провайдер услуг и сервисов для физлиц, бизнеса и государственных организаций.