Data Scientist | IT

Сможем ли мы научиться разговаривать с животными при помощи ИИ #почитать Быстрый ответ: нет. Но существенно улучшить наше понимание животных - вполне реально. Читать статью

Как сделать Stable Diffusion XL ещё умнее, используя отрицательные подсказки #почитать #middle В прошлом месяце Stability AI выпустила Stable Diffusion XL 1.0 (SDXL) и дала открытый доступ к его исходному коду всем желающим. Релиз прошел практически незамеченным, потому что шумиха вокруг генеративного искусственного интеллекта немного поутихла. Все слишком заняты ChatGPTом и прочими ИИ, генерирующими текст. Отсутствие ажиотажа вокруг SDXL не означает, что он не достоин внимания. Читать статью

Reinforcement Learning from Human Feedback #почитать RLHF расшифровывается как reinforcement learning from human feedback и означает обучение с подкреплением на основе человеческих предпочтений/отзывов. 📌 Что размечаем? 📌 Быстрый экскурс в основы разметки данных 📌 Разметка данных при помощи краудсорсинга 📌 Основные компоненты разметки данных 📌 Тонкая настройка модели (Supervised Fine-Tuning, SFT) 📌 Где брать тексты? 📌 Как размечать тексты? 📌 Человеческие предпочтения (Human Preferences) 📌 Разметка и ранжирование 📌 Сколько размечать? 📌 Структура модели награды Читать статью

❓ Что такое NLP и как с этим работать NLP - эта область Data Science, которая изучает методы для автоматической работы с текстами, среди которых такие вещи как большие языковые модели и векторные представления слов. Освоить NLP сейчас – отличная инвестиция в будущее для любого IT-специалиста. 💡 Начните с бесплатного открытого урока «Прикладные методы автоматической обработки естественного языка» от OTUS. В результате урока вы узнаете: — основные NLP-задачи: от простой классификации спама до сложных диалоговых систем и моделей типа ChatGPT — как обучать самые разные NLP-модели, чтобы они показывали state-of-the-art результат — как меньше чем за час можно дообучить предобученную модель так, что она покажет результат лучше человека для некоторых NLP-задач 🎙 Урок пройдёт 18 сентября в 18:00 мск в рамках курса «Natural Language Processing». ➡️ Пройдите бесплатное вступительное тестирование и зарегистрируйтесь на мероприятие Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru

Создание своего цифрового клона с помощью Fine-tuned LLM #почитать Сбор данных: в итоге выбрал Telegram, потому что он предоставляет удобный API для сбора данных. Кроме того, он служит основной платформой для моего общения с друзьями. Этот выбор позволяет модели глубже понять уникальный стиль общения и лучше имитировать меня. Читать статью

Угрозы, непристойности, оскорбления. Определение токсичности комментариев с помощью ML #почитать Тексты взяты из комментариев к правкам на странице обсуждения Википедии. Исходные данные состоят 223 549 примеров с разметкой. Нужно на основе текста сообщения (comment_text) предсказать тональность (колонки toxic, severe_toxic, obscene, threat, insult, identity_hate). Читать статью

Как создать тупого друга: дообучение LLaMA #почитать "В этой статье я расскажу как я смог бесплатно и без мощного железа дообучить LLaMA на диалогах с друзьями в ВК, чтобы сделать чат бота, который копирует наш стиль общения, оживляет разговор в чате и просто пишет странные и смешные вещи." Читать статью

Оценка грибов на съедобность методами машинного обучения #почитать "Для каждого гриба есть 22 признака, которые описывают его внешний вид и запах, такие как форма и цвет шляпки, тип поверхности шляпки, цвет жабер, тип кольца и т.д. Все признаки являются категориальными и имеют разное количество категорий. Целевая переменная — это класс гриба: съедобный (e) или ядовитый (p). Данные сбалансированы по классам: есть почти одинаковое количество съедобных и ядовитых грибов. Для анализа данных использовался язык программирования Python и библиотеки pandas, numpy, seaborn, matplotlib. Также библиотека fastcluster." Читать статью

Интернет-радио на нейросетях. Опенсорсное #почитать #junior "Привет всем увлеченным нейронными сетями или тем, кто хочет вникнуть в технологии. Сегодня я хотел бы познакомить вас со своим захватывающим проектом с открытым исходным кодом «Бесконечное нейронное радио». Бесконечное, потому что lofi музыка и подкасты могут генерироваться нейронными сетями бесконечно. В этой статье я бы хотел углубиться в то, как все работает изнутри." Бесконечное радио создаваемое нейронными сетями. Open-source проект

Сканер баркодов прямо в браузере #почитать #junior Распознавание документов в браузере - такой подход позволяет переложить часть проблем (например, с кроссплатформенностью и интеграцией) на плечи разработчиков браузера, позволяет полностью изменить подход к сохранности персональных данных (пользователь не выгружает свои данные на сервер для распознавания, а наоборот, загружает к себе модуль для распознавания изображений, содержащих его данные), а так же позволяет быстро реализовать фронтэнд-интеграцию силами web-разработчиков - в общем, всем хорош. Как встроить сканер баркодов в браузер

Делали продукт для добра, для всех желающих, а там сидят одни полицейские #почитать #junior Компания Clearview AI собрала базу распознавания лиц на основе 30 миллиардов фотографий из социальных сетей (в первую очередь, Фейсбука). Как заявил BBC генеральный директор компании, по состоянию на март 2023 года, полиция США обратилась к этой базе данных уже почти миллион раз. Эксперты и защитники цифровых прав человека уже раскритиковали Clearview AI за сомнительные методы сбора информации, без согласия тех кто разместил фотографии и изображён на них, и результаты этого сбора: по сути, сотни миллионов человек, не совершивших ничего плохого, попали под вечный полицейский надзор. И большинство об этом даже не знают. Полиция стала главным пользователем базы распознавания лиц Clearview AI из 30 миллиардов фотографий из социальных сетей

Роботы-музыканты: пока только лаунж #почитать #junior "Нейромузыка — это бесконечный поток звуков, собранный алгоритмами на основе заранее сгенерированных лупов (коротких аудиофрагментов, которые можно бесшовно зациклить). В такой музыке выверен темпоритм, нет пауз и слов, чтобы слушатель не отвлекался. Но при этом её можно персонализировать: здесь вы тоже можете ставить лайки и дизлайки, помогая алгоритму лучше под вас подстраиваться. Мы решили поэкспериментировать и сделать для аудитории Яндекс Музыки новый технологический продукт, чтобы вживую проверить, какие именно возможности открывают генеративные технологии в плане творчества." Нейромузыка: может ли робот создавать треки

🟡Привет, DS и ML инженеры! Свежий дайджест полезных материалов по DS & ML от канала DS Live 🚩 Data Science и машинное обучение за неделю с 21 по 27 августа! 🔖 Почитать: ▪️ Метаданные как обезбол при миграции ▪️ Вам в хранилище или к озеру? Чем занимаются специалисты по работе с данными и как стать Data-инженером ▪️ Дайджест новостей искусственного интеллекта и машинного обучения за лето ▪️ Строим пайплайн в sсikit-learn — пошаговое руководство ▪️ Я сделал Stable Diffusion XL «умнее» обучив её на плохих изображениях, созданных искусственным интеллектом ▪️ ML для ускорения работы картографов ▪️ Протокол обмена ключами Диффи-Хеллмана для «самых маленьких» ▪️ Нейромузыка: может ли робот создавать треки? ▪️ Как обучить миллионы моделей прогнозирования временными сериями ▪️ Почему ONNX так популярен в ML: конвертации, утилиты и инференс 👀 Посмотреть: 🌐 Реальное Собеседование Data Science | ВСЯ ТЕОРИЯ В ОДНОМ ВИДЕО (⏱ 16:27) 🌐 Лекция 1. Введение в профессию Data Scientist и знакомство со средой программирования Python (⏱ 1:00:52) 🌐 Что почитать? Лучшие КНИГИ для АНАЛИТИКА (a/b тесты, статистика и data science) (⏱ 16:11) 🌐 Решаем реальное тестовое задание на Data Science (⏱ 7:29) 🌐 Дизайн ML-системы / Разбор этапов создания ML-приложения / Data Science (⏱ 16:11) 🌐 📊🔍 Введение в Data Science: работа с NumPy и Pandas! (⏱ 54:25) 🌐 Что реально пишут на python, что учить и какой roadmap на python разработчик | Какие уроки, курсы (⏱ 27:37) Подпишитесь на DS Live и получайте дайджесты на регулярной основе!

☄ Открытый урок по языковым моделям от OTUS 4 сентября в 18:00 мск встречаемся на открытом уроке «Языковые модели: от статистических до ChatGPT» в рамках курса «Natural Language Processing (NLP)» от OTUS. 📣 Кому подходит этот урок: - Практикующим Data Scientist и IT-специалистам, которые хотят глубже погрузиться в область NLP - Тем, кто хочет узнать, что делает ChatGPT таким умным - Людям, освоившим основы машинного обучения, но желающими развиваться в области DS 💪 Результаты урока: Вы узнаете, что такое языковые модели и как их использовать для решения NLP-задач, а также изучите подходы к обучению больших языковых моделей, таких как ChatGPT. Это отличная возможность совершенно бесплатно протестировать формат обучения и задать преподавателю любые вопросы в режиме реального времени 😎! Пройдите тестирование курса, чтобы зарегистрироваться на урок - https://otus.pw/Gd1D/

🌐 Собеседование Data Scientist в банке #посмотреть #junior Что спрашивают: ✔️ Посчитайте градиент ✔️ Вычислите интеграл ✔️ Функция Лагранжа ✔️ Определитель ✔️ Собственные значения ✔️ Матожидание ✔️ Дисперсия, Корреляция, Ковариация ✔️ Условная вероятность ✔️ Задача со скобками ✔️ SQL ✔️ Линейная регрессия ✔️ Логистическая регрессия ✔️ Нормировка и дерево ✔️ Переобучение RF ✔️Смещение и разброс ✔️ Регуляризация ✔️ ММП ✔️ Инициализация нейронок ✔️ Dropout ✔️ Batch Normalization ✔️ Задачи на теорвер ✔️ ROC-кривая Смотреть на YouTube (20 минут)

Генеральный директор Google о генеративном ИИ #почитать #middle 📌Роль генеративного ИИ в работе людей 📌Мультимодальные ИИ 📌Интересный опыт использования генеративных ИИ 📌Осторожность в создании искусственного интеллекта 📌Что такое «подушка безопасности» в создании искусственного интеллекта 📌Как компаниям подходить к обучению и адаптации нетехнического персонала в рамках стратегии перехода на генеративный ИИ 📌Как применить ИИ в своей компании Читать статью

Ожидания: Благодаря AI люди смогут меньше работать. Реальность: AI контролирует, достаточно ли хорошо люди работают.

Давайте не дразнить пользователей продуктами нейросетей #почитать "Людей, ненавидящих нейросети, не так уж мало. Они впечатлены силой науки, давшей нам возможность за одно нажатие кнопки сотворить шедевр. Они напуганы и не понимают, как это работает – и не понимают, как это повлияет на их жизнь. Стоит ли их дразнить и провоцировать?" Читать статью