DataGym Channel [Power of data]

⚡️ Анонсируем новую большую конференцию от Яндекса по прикладному ML — Practical ML Conf 2023 Пока вы наслаждаетесь тёплым летом, мы готовим для вас большую конференцию по прикладному Machine Learning — чтобы обсудить все изменения, которые постоянно происходят в ML-отрасли, и то, как их можно внедрить в свои проекты. 7 сентября вас ждут 500 экспертов, 8 профильных направлений и опытные ML-инженеры, которые меняют сферу уже сейчас. Поговорим о ключевых вопросах индустрии: генеративных моделях, Research, NLP, Hardware, CV, RecSys, MLOps и Ecomm. Если вы хотите прочитать доклад о прикладном ML, то заполняйте форму до 17 июля. А если нет — save the date и ждите новые подробности: скоро мы начнём рассказывать о программе Practical ML Conf 2023. До встречи 7 сентября на Practical ML Conf в Москве или онлайн!

В рамках #запожертвованиенаблаготворительность хочу рекомендовать митап, но увидев спикеров хочу искренне от себя добавить, что митап хороший. Большой DS-митап о персонализации от СберМаркет Tech🔥 Встречаемся на Data Science Meetup 5 июля в 19:00 в московском офисе СберМаркета или на онлайн-трансляции. В программе: 🟡 Как мы делали проект по персональному ML-ранжированию каталога и почему из этого ничего не получилось, а потом внезапно каааааак получилось // Антонина Горячева, и.о. директора по анализу данных в СберМаркете. 🟡 ML-персонализация для карьерной платформы: о продукте, что для него делали, какие проблемы были и как их решали // Петр Чуйков, DS Team Lead, HeadHunter. 🟡 Кросс-категорийные рекомендации в Авито: зачем они нужны, как добавляли и что из этого вышло // Михаил Каменщиков, Recommendations Unit Lead Авито. 🟡 Персональный тарифный план для новой базы: key learnings после запусков пилотов, как и почему реальность разошлась с ожиданиями и что с этим делаем // Дарья Шатько, Data Science Teamlead Мегафон BigData. После каждого доклада дарим подарки за лучший вопрос 🎁 Регистрируйся по ссылке и до встречи на митапе!

🔥Через 10 минут в комнате Practical ML Stage стартует онлайн программа от Яндекса! Ловите расписание: 12:50 - 13:45 Нейросетевое составление образов, Екатерина Глазкова 13:45 - 14:25 Калибровка камеры к лидару, Расим Ахунзянов 14:25 - 15:00 Многорукие бандиты в Яндекс Лавке, Евгений Комаров 15:00 - 15:45 Геймификация сбора данных для ML во внутренних сервисах, Владислав Савинов Все доклады будем показывать в комнате Practical ML Stage, а Q&A и ламповый нетворкинг будет в комнате Practical ML Yandex Пароль всё тот же: festparroteverywhere23 Всех ждем!

И, ютуб сразу из Яндекса стартовал 🎉 В ближайшие 3 часа вас ждут: 17:30 - Подходы для оценки качества диалоговых моделей (NLP), Дарья Воронцова, SberDevices 18:20 - Персональное ранжирование трансформерами, Кирилл Хрыльченко, Яндекс 19:25 - Оптимизация в условиях неопределенности, Алексей Степанель, Яндекс Маркет 20:10 - Нейронные сети для планирования движения беспилотного автомобиля, Виктор Юрченко, Яндекс Самое то, чтобы с толком начать пятничный вечер 🚀

10 лет назад я завалил последний экзамен в ШАД. Но сейчас для разработчиков появилось альтернативное поступление, где у вас проверяют не забытые знания высшей математики, а инженерные знания. Не упусти возможность учиться в ШАД! До 6 мая включительно можно подать анкету на обучение в Школе анализа данных Яндекса - двухгодичной программе, по одному из востребованных направлений: разработка машинного обучения, data science, инфраструктура больших данных или анализ данных в прикладных науках. Чтобы поступить и учиться в ШАДе, важно интересоваться машинным обучением, обладать хорошей математической подготовкой и владеть одним из языков программирования. Для разработчиков с опытом есть альтернативный трек поступления, который включает в себя не только оценку знаний в алгоритмах и высшей математике, но и достижений в исследовательских и/или индустриальных задачах. Основной язык обучения на программе: русский. Анкета для поступления (https://clck.ru/34GwCS), чат для поступающих (https://t.me/+DQ1j7epbIlNmNjFi).

В рамках #запожертвованиенаблаготворительность хочу дать слово Александру. Вы тоже можете поддержать, просто подписавшись на его канал. Всем привет! Меня зовут Александр, работаю на позиции Middle DS. Постараюсь в двух словах рассказать, о чем мой маленький канал @gptscience 🤖 📰 Свежие новости из мира GPT-генеративных моделей. 👨‍💻 Создание приложений с помощью GPT-4. 😐 Посты с ликбезом и объяснением сложных нейронных архитектур простым языком. 🤓 Ежедневные посты, где я сам ручками показываю то, что можно создать с помощью новых технологий. Если хотите помочь с развитием канала, а также получать качественный контент, буду рад вас видеть на своем канале - https://t.me/gptscience *Сгенерировано с помощью chatgpt🤖

Вышел kandinsky 2.1 Почитать можно тут А это код, который дергает публичную API (пока работает) Можете погенерировать картинки на любом тапке с установленным питоном

import PIL
import base64
import io
import requests
import time

text = "когда с друзьями пьешь жигулевское на берегу волги"

wtf = '----WebKitFormBoundarywlnxcaZpV1ghiA4E'
cdfdn = '\r\nContent-Disposition: form-data; name='
api_url = 'https://fusionbrain.ai/api/v1/text2image'
api_url_run = api_url + '/run'
api_url_pockets = api_url + '/generate/pockets/'

data = (f'--{wtf}{cdfdn}"queueType"\r\n\r\ngenerate\r\n--{wtf}' +
               f'{cdfdn}"query"\r\n\r\n{text}\r\n--{wtf}' +
               f'{cdfdn}"preset"\r\n\r\n1\r\n--{wtf}' +
               f'{cdfdn}"style"\r\n\r\n\r\n--{wtf}--\r\n').encode()

response = requests.post(api_url_run, headers=headers, data=data)
pocket = response.json()['result']['pocketId']
time.sleep(3)
response = requests.get(api_url_pockets + f"{pocket}/status",
    headers={'Content-Type': f'multipart/form-data; boundary={wtf}'},
)

while response.json()['result'] != 'SUCCESS':
    print(response.json()['result'])
    time.sleep(3)
    response = requests.get(api_url_pockets + f"{pocket}/status")
    
response = requests.get(api_url_pockets + f"{pocket}/entities")

msg = base64.b64decode(response.json()['result'][0]['response'][0])
buf = io.BytesIO(msg)
img = PIL.Image.open(buf)

img

@powerofdata

8 лет ODS, а на деле больше Сколько друзей, коллег, работ и движа. Спасибо всем, кто участвовал. Сообщество, в первую очередь, это участники. В комментариях буду рад услышать ваши cool story про ODS. 💔

Яндекс выкладывает в опенсорс одну из основных инфраструктурных BigData-систем собственной разработки — YTsaurus. Это платформа, предназначенная для распределённого хранения и обработки больших данных. Максим Бабенко, руководитель отдела технологий распределённых вычислений в Яндексе, рассказал историю возникновения YT, а также зачем нужна YTsaurus и где её можно применять. В Github-репозитории — серверный код YTsaurus, инфраструктура развёртывания с использованием k8s, а также веб-интерфейс системы и клиентский SDK для распространённых языков программирования — C++, Java, Go и Python. Ссылки на посты на Хабре и Медиуме.

Шикарно! Следим за первые применения и положительный опыт замены Hadoop/Spark

Вышла серия Южного парка (South Park) про ChatGPT Что интересно, серия называется Deep Learning Первый случай, чтоб технологии ИИ или продукт на основе ИИ проник так глубоко в массовую культуру В заключительных титрах авторы эпизода указаны как Trey Parker и ChatGPT. Описание серии, если лень смотреть. А для не_фанатов смотреть и не советую, кажется раньше серии были злободневнее и веселее а трава зеленее

#events Едем по городам и сёлам Организуем ML Party в Ереване. Ждем офлайн (всех обниму) или онлайн (регистрация тоже нужна 😉 ) ML Party Yerevan Когда: 2 (четверг) марта 2023, 18:00 – 21:00 GMT+4 (Регистрация с 17:00) Место: The Office. улица Вагана Теряна, 91, Ереван + онлайн Язык — русский Нас ждёт 3 -4 доклада. например: - Как МЛ формирует Быстрые ответы в поиске - Выделение атрибутов из изображений одежды и манипуляция для поиска новых (платье+шелк+горошек-рукава) - Как рекомендации Яндекс.Музыки помогают пользователю открывать новую музыку и незнакомых слушателю исполнителей. Подробная программа по ссылке ниже Если рядом - ждем онлайн, но можно и в онлайне. Регистрация обязательна

#events : ML-тренировка Data Dojo Когда: 16 (четверг) февраля 2023, 19:00 - 21:30 (сбор с 18:00) Место: Музей Яндекса на Павелецкой (Москва, Садовническая ул., 82, стр. 2, подъезд 5, этаж 1) + онлайн Язык — русский Нас ждёт 3 доклада: - Обзор активных соревнований: поговорим какие есть, чем интересны, чтоб вам было легче выбрать, в чем поучаствовать - Ребята расскажут про участие в различных олимпиадах по машинному обучению и как им довелось внедрять это решение в компании - Селим расскажет про диагностирование перелома шейных позвонков на КТ снимках У нас новая локация! Там много интересного можно посмотреть Подробная программа по ссылке ниже Офлайн приглашения уже разлетелись, но ждем вас в онлайне. Регистрация обязательна!

Тут вышел подкаст со мной: - за жизнь - чем занимаюсь в Яндексе - как дошел до жизни такой - внутрянку DS затронули по касательной (так что контент совсем ненапряжный) Контент явно не профильный для канала, да и бабушка учила себя не нахваливать. Но вдруг вам интересен "yet another" путь в ML-е. На подкаст-платформах и ютубе (только аудио) Для большего веселья можно на фоне включить бит Кровосток-Биография

#events : ML-тренировка Data Dojo Когда: 24 (суббота) декабря 2022, 12:00 - 18:00 (сбор с 11:00) Место: офис Яндекса (Москва, улица Льва Толстого, 16) + онлайн Язык - русский В этот раз нас ждёт 5 докладов: - Поговорим про соревнования 2022 - Предсказание исполнителя трека по набору акустических признаков. Разбор решения с Yandex Cup 2022 - Призер хакатона MORE.Tech от ВТБ о своем решении - Дорога к Kaggle Competitions Master в 17 лет - Применение AutoML в соревнованиях по машинному обучению Подробная программа по ссылке ниже Офлайн приглашения уже разлетелись, но ждем вас в онлайне. Планируем сделать активность и для онлайна, будет веселее чем в записи! Регистрация обязательна

Барев дзес, друзья! Наконец долетел в этот снегопад с ереванского хайлоада. Позже расскажу, какие интересные доклады там были по ML, а сейчас хочу похвалить очень классные локальные сообщества. Ребята встречаются иногда несколько раз в неделю, а уже на следующей неделе, возможно, проведут митап. Если вы там, настоятельно советую присоединиться. [ODS в Ереване | ru] [ML Yerevan | en]

#общаемся По всей видимости 17 декабря пройдет дата-ёлка от ODS. Она будет онлайн, подробности скину, когда будет регистрация. Расскажу, что последнего произошло с python (как с языком, так и с компонентами для данных и мл) за последние 3 года. Буду рад вашим советам, на что обратить внимание в своем рассказе тут у нас в комментариях к этому сообщению ;)

#events : ML-трек Ya.Talks Когда: 3 декабря (завтра) 2022 15:30 - 20:00 (по Москве) Где: онлайн Язык: русский, с нейро-переводом на другие языки Хочу всех вас пригласить на ML-трек. Нас ждёт 3 доклада и 2 дискуссии. Каждый доклад, каждая дискуссия отобраны и отработаны, везде я добавил частичку себя. Очень вас жду, жду ваших вопросов и фидбека. Регистрируйтесь

#events : ML-тренировка Когда: 17 (четверг) ноября 2022, 19:00 - 21:30 (сбор с 18:00) Место: офис Яндекса (Москва, улица Льва Толстого, 16) + онлайн Язык - русский В этот раз нас ждёт 3 доклада: - призер только что завершившегося Yandex ML Cup, - 2ое место хакатона AgroCode Hack по анализу спутниковых снимков для виноградников - организатор ML соревнований в информационной безопасности Подробная программа по ссылке ниже Будем рады видеть всех очно и онлайн ;) Регистрация обязательна

#opensource : RuLeanALBERT от Yandex Research 2.9B трансформер для русского, которая влезет в домашнюю ПеКарню ресерчера Мало того, что это самая большая БЕРТ-подобная модель для русского языка, которая показывает крутые результаты в бенчмарках, так еще и с кодом для fine-tuning-а GitHub А в статье можете узнать, как обучалась эта модель (а-ля коллаборативное глубокое обучение) на фреймворке по децентрализованному обучению Hivemind