Искусственный интеллект - точка входа

90% контента будет создаваться при помощи ИИ к 2026 году К 2026 году 90% контента в интернете будет создавать искусственный интеллект, гласит прогноз Международного центра обработки данных (IDCA). После публичного релиза таких генеративных моделей, как ChatGPT-3, StableDiffusion или MidJourney, инфополе заполнили скандалы вокруг выдачи ИИ-контента за творение человека. В 2026, наступит интересное время. Время фейков, подделанных дважды. Однозначно будет неясно, сгенерировано видео или контент при помощи ИИ-модели, или подготовлено человеком. На сознательный обман человека, который хочет выдать фейковое творение за реальное, будет накладываться вероятность сбоя ИИ-модели, которая сама может допускать ошибки-галлюцинации. Изображение к посту сгенерировано в Midjourney. Источник: idc-a.org 👉 @aisimpleru

Визуализация работы популярных оптимизаторов в Python 🐍 Python - наиболее популярный язык программирования для машинного обучения. Оптимизатор - это встроенный в компонент Python алгоритм, позволяющий достичь оптимального значения функции потерь обучаемой модели. В качестве модели может выступать нейронная сеть, алгоритм машинного обучения или их сочетание. В процессе обучения мы стараемся минимизировать потери функции и обновлять параметры для повышения точности. На графике выше наглядно представлено, как по-разному работают алгоритмы оптимизации Python. Все представленные оптимизаторы входят в пакет Numpy. Источник: github.com 👉 @aisimpleru

Задача оценки плотности в машинном обучении (ML) Под плотностью мы подразумеваем плотность распределения вероятности или вероятность. Оценка плотности вероятности в ML - метод анализа данных, который позволяет оценить вероятностное распределение значений в наборе данных. Она позволяет нам понять, как вероятно появление определенных значений или наблюдений в нашей выборке. Зачем это нужно? Для исключения из обучающих выборок нерелевантных, аномальных примеров. Представьте, что у вас есть набор значений роста людей. Оценка плотности покажет, как часто встречаются разные значения роста. В обучающем примере рост человека 175 см. Мы понимаем, что это средний рост для мужчин в мире. Если в выборке будут встречаться примеры 140 и 219 см? Скорее всего это аномальные значения. Вероятность их нахождения в выборке - минимальна. Для корректной работы модели, их лучше исключить из выборки. Теперь представьте, что в выборке используются данные банковских транзакций или расстояния между атомами, как понять аномальны ли значения? Если вы специалист в конкретной предметной области, скорее всего, вы сможете определить. Но в большинстве случаев, лучше обратиться к ML-алгоритмам, которые помогут избежать ошибок при подготовке данных для обучения моделей. Основные методы: 🔹 Гистограммы 🔹 Оценка плотности ядра (Kernel Density Estimation, KDE) 🔹 Случайные леса (random-forest) 🔹 Оценка парзеновского окна (Parzen Window) Методические материалы: scikit-learn.ru en.wikipedia.org

Задача снижения размерности в машинном обучении (ML) Задача снижения размерности в машинном обучении сводится к уменьшению числа признаков набора данных. Наличие в наборе избыточных, неинформативных признаков снижает эффективность модели. После снижения размерности модель упрощается, а размер набора данных в памяти уменьшается. Ускоряется работа алгоритмов машинного обучения. На практике приходится работать с данными очень больших размерностей. Изображения размером 224×224 пикселей или данные финансовых изменений во времени представляются в виде векторов. Исследователю нужна простая и понятная визуализация и скорость для расчетов. Где применяется: 🔹 распознавание изображений, 🔹 банковские транзакции, 🔹 аналитика больших данных. Основные методы: 🔹 Метод главных компонент (PCA) 🔹 Метод k-средних (K-Means) 🔹 Линейный дискриминант Фишера (LDA) 🔹 Стохастические вложение соседей (t-SNE) При подготовке текста использовали источник: ссылка 👉@aisimpleru

Общая классификация постановки задачи машинного обучения Ранее мы рассматривали, что такое машинное обучение (machine learning или ML), как метод ИИ. Типы задач, которые могут решаться при помощи ML Обучение с учителем: 🔹 классификация, 🔹 регрессия, 🔹 обучение ранжированию, Обучение без учителя: 🔹 кластеризация, 🔹 снижение размерности, 🔹 оценка плотности. Мы не касались трех типов задач задач: ранжирование, снижение размерности и оценка плотности. Восполним этот пробел в ближайших постах. 👉 @aisimpleru

Rabbit R1. Очередной ненужный гаджет или реальная альтернатива голосовым помощникам? Весной 2024 на рынок выходит необычное устройство. Оранжевая коробочка с сенсорным экраном 2,88 дюйма, микрофоном, вращающейся камерой и кнопкой. Объем оперативной памяти - 2 Гб, постоянной - 128 Гб. Цена устройства: 199$ Rabbit R1 удаленно управляет приложениями с использованием собственных механизмов интеграции. Управление осуществляется голосом. Что под капотом? Rabbit R1 использует нейросеть типа LAM (Large Action Model). Принцип работы заключается в том, что устройство воспринимает голосовые команды и интерпретирует их. LAM обучается путем демонстрации: алгоритм «наблюдает» за человеком, использующим определенное приложение, а потом воспроизводит его действия, даже если интерфейс сервиса отличается. Со временем модель накапливает все больше знаний и глубже «понимает» разные аспекты взаимодействия с сервисом. Главный вопрос - почему бы просто не сделать мобильное приложение? По словам разработчиков - идея в том, чтобы изменить рынок и подходы к с устройствами на базе ИИ. Генеральный директор Rabbit Джесси Лю на презентации устройства подчеркнул, что его разработчики не стремятся заменить смартфоны. С помощью R1 нельзя звонить, проигрывать ролики YouTube, проверять социальные сети или выполнять действия с электронной почтой. Кроме того, устройство не предполагает наличия обратной связи с другими владельцами Rabbit или смартфонов. YouTube-демонстрация Статья на Хабре Сайт производителя

ТОП-5 специалистов на рынке IT и ИИ в 2023-2024 1. Специалисты по кибербезопасности 2. Аналитики больших данных 3. Специалисты по машинному обучению и искусственному интеллекту 4. Специалисты по облачным технологиям 5. Разработчики программного обеспечения Hard Skills - «жесткие» навыки. Soft Skills - «мягкие» навыки. ⚠️ Обратите внимание - самый популярный Hard Skill - это Python, - популярный Soft Skill - коммуникативные навыки, - для специалистов в сфере искусственного интеллекта - самый обширный набор навыков 🙂 👉 @aisimpleru

ИИ-модель, автоматически удаляющая фон с фото На HuggingFace🤗 в бесплатном доступе размещена модель BRIA RMBG 1.4: 👇 https://huggingface.co/spaces/briaai/BRIA-RMBG-1.4 Модель легко удаляет фон с фото. Картинку бутылки за 17 секунд модель обработала вполне не плохо 👌 Забирайте и пользуйтесь на здоровье 😉 👉@aisimpleru

Почему Python такой популярный? Можно долго нахваливать обилие существующих библиотек для Python, простоту изучения, большое сообщество разработчиков. Но главный ответ - это простота кода. Посмотрите на картинку 👆 и все поймете . 👉 @aisimpleru

Клеточные автоматы Идея клеточных автоматов была сформулирована независимо Дж. фон Нейманом и К. Цусе в конце 40-х годов. Оба рассматривали их как универсальную вычислительную среду для построения алгоритмов, эквивалентную по своим выразительным возможностям машине Тьюринга. Эта идея породила волну многочисленных теоретических и прикладных исследований.  Кле́точный автома́т (КА) — набор клеток, образующих некоторую периодическую решетку с заданными правилами перехода, определяющими состояние клетки в следующий момент времени через состояние клеток, находящимися от нее на расстоянии не больше некоторого, в текущий момент времени. Как правило, рассматриваются автоматы, где состояние определяется самой клеткой и ближайшими соседями. В качестве решетки обычно рассматривается кубическая решетка На видео - пример работы клеточного автомата 👉@aisimpleru

Самые популярные языки программирования в сфере ИИ и машинного обучения по итогам 2023 🔸 Python — универсальный язык с активным сообществом и большим количеством свободных инструментов (TensorFlow, Keras, Scikit-learn, Pandas) 🔸 JavaScript — часто используется для разработки пользовательских интерфейсов, но также имеет ML-библиотеки (Brain.js, Deeplearnjs и ConvNetJS для нейронных сетей, Compromise для NLP, TensorFlow.js для всего понемногу) 🔸 TypeScript — надстройка над JavaScript, позволяющая писать алгоритмы и строить модели машинного обучения 🔸 C++ — мощный язык со стабильными и быстрыми программами, но сложным синтаксисом и обилием абстрактных функций 🔸 Java — высокоуровневый язык с отличными библиотеками (Weka, MOA, MALLET) 🔸 C# — гибкий и многофункциональный язык от Microsoft с поддержкой библиотеки ML.NET 🔸 Julia — молодой язык, конкурент R и Python, совместимый с ними, но быстрее их 🔸 Scala — поддерживает объектно-ориентированное и функциональное программирование 👉 @aisimpleru

Поручения Путина по итогам конференции по ИИ Для тех, кто пропустил, сообщаем, что Президент России утвердил перечень поручений по итогам конференции «Путешествие в мир искусственного интеллекта» от 24 ноября 2023 года. Краткая выжимка: 🔹 финансирование разработок в области генеративного ИИ будет увеличено, 🔹 разработка и внедрение больших генеративных моделей для использования в ключевых отраслях экономики, 🔹 правительство проанализирует потребности работодателей в сотрудниках, обладающих навыками ИИ, 🔹 образовательные стандарты будут дополнены требованиями к навыкам в сфере ИИ, 🔹 вычислительных мощности суперкомпьютеров, находящихся в Российской Федерации, будут увеличены, 🔹 уделено внимание формированию этических стандартов в сфере ИИ. Источник: kremlin.ru 👉 @aisimpleru

Способы нормализации данных в обучающих выборках 📊 Как правильно подготовить данные в выборке для обучения нейронной сети 🤔? Нейронные сети и другие модели машинного обучения должны оперировать значениями в рамках одного диапазона. Как быть, если в модели используются данные, например, в штуках и миллионах рублей? Нужна нормализация данных. Подготовили подробную статью об основных методах нормализации - ссылка. 👉 @aisimpleru

В Тинькофф-Журнале вышел интересный курс по ИИ 🚀 Из курса вы узнаете: 1. Где используют нейросети и как они работают. 2. Почему нейросети стали популярны только в 2022 году. 3. Что они могут прямо сейчас. Самое классное, что курс полностью бесплатный 🔥 Продолжительность 🕒: ~ 3 часа На выходе, получите диплом, можно добавить в резюме. Не благодарите 😉: https://journal.tinkoff.ru/pro/ai/0-intro-to-ai/ P.S. Это не реклама 👉 @aisimpleru

«Экономический эффект [от внедрения технологий ИИ в России] составляет около триллиона рублей. А концу десятилетия превысит уже 10 триллионов» М.Мишустин Источник: rt.com — Для понимания. Сейчас эффект от внедрения ИИ в России по оценкам премьера - 11 $ млрд. (1 ₽ трлн.). Планируется, что этот показатель вырастет в 10 раз 😮 через 6 лет. К чему это может привести, мы уже писали ранее: - сокращение рабочих мест, - очередной виток роста зарплат в сфере ИТ и ИИ, - людям массово придется переучиваться или остаться без работы. 👉 @aisimpleru

Этапы нейросетевого моделирования (ч.2) Ранее мы уже кратко упоминали основные этапы нейросетевого моделирования. Предлагаем рассмотреть этот процесс более детально на примере решения простой задачи по прогнозу погоды в Москве. Подробности в уроке 2.7 на сайте. 👉 @aisimpleru

То, о чем мы писали почти 4 года назад (ссылка), состоялось. Компания Илона Маска Neuralink впервые имплантировала чип в мозг живому человеку. ✅ Илон Маск объявил о первой имплантации нейрочипа Neuralink человеку в социальной сети X (соцсеть запрещена в России). Операция прошла 28 января 2024 года, и пациент успешно восстанавливается. Первые результаты операции многообещающие. ✅ Первый продукт Neuralink будет называться Telepathy. Эта технология поможет пациентам с боковым амиотрофическим склерозом и другими заболеваниями общаться и пользоваться интернетом, двигая курсор силой мысли. ✅ В сентябре 2023 года Neuralink получила разрешение на испытания от независимого наблюдательного совета и начала поиск добровольцев. Полное исследование продлится около шести лет. ✅ После операции эксперты Neuralink будут наблюдать за пациентом, чтобы следить за прогрессом и гарантировать работу чипа. Запланировано 20 осмотров в течение пяти лет. 👉 @aisimpleru

Какие ИИ-модели могут повторить и превзойти успех ChatGPT в 2024 году? ChatGPT дал людям возможность общаться с компьютером на человеческом языке. В в 2024 году ИИ-модели станут еще умнее. Вот список ИИ моделей, которые будут активно развиваться в ближайшее время: 1. Claude от Anthropic (https://www.anthropic.com/product) 🔹 200 тыс. токенов вместо 128 тыс. по сравнению с ChatGPT 🔹 4$ млрд. инвестиций от Amazon 🔹 расширенное и удобное контекстное меню 🔹 менее "токсичен" в общении благодаря упору на безопасную разработку 2. Pi от Inflection AI (https://pi.ai/talk) 🔹 гибкая модель, работающая по принципу ACI (Artificial Capable Intelligence) 🔹 1,3$ млрд. инвестиций от Microsoft и Nvidia 🔹 модель является обучаемой и персонализируемой под нужды конкретного пользователя 3. Character.AI (https://beta.character.ai/) 🔹 идея в создании собственных анимированных персонажей 🔹 целевая аудитория 18-25 лет 🔹 150$ млн. инвестиций 4. ElevenLabs (https://elevenlabs.io/) 🔹 модель предназначена для клонирования и синтеза речи 🔹 позволяет дублировать контент на разных языках, сохраняя оригинальный голос говорящего 🔹 19$ млн. инвестиций от Instagram, DeepMind, Oculus 5. Hugging Face (https://huggingface.co/) 🔹 большое число моделей с открытым исходным кодом 🔹 GitHub в области ML - другие люди могут просматривать чужие проекты 🔹 оценка компании - 4,5$ млрд. 🔹 в последнем раунде финансирования участвовали Google, Amazon, Nvidia, Intel, AMD, IBM и Qualcomm 👉 @aisimpleru

Кого заменит ИИ в 2030-х Профессора Оксфордского университета Карл Бенедикт Фрей и Майкл Осборн в 2013 разработали модель предсказания рисков для профессий, деятельность которых будет автоматизирована, т.е. заменена ИИ. Модель реализована на сайте - https://willrobotstakemyjob.com/. Ниже - ТОП-5 групп профессий, которые пострадают с большей долей вероятности (подробнее - на сайте). 1️⃣ Бухгалтеры и аналитики начального уровня Системы искусственного интеллекта способны обучаться правильному извлечению и анализу информации из различных источников, что позволяет снизить потребность в ручном труде. К этому также можно отнести первичную аналитику больших объемов данных, включая базовый финансовый анализ и определенные виды исследований. 2️⃣ Специалисты call-центров, администраторы Ранее процессы обслуживания клиентов были связаны с длительным временем ожидания, нестабильным сервисом и разочарованием. Однако, в настоящее время большинство проблем решается с помощью чат-ботов, виртуальных помощников и алгоритмов машинного обучения. 3️⃣ Копирайтеры, журналисты, писатели Появление больших языковых моделей, таких как ChatGPT, Copilot и Bard, значительно упростило процесс создания контента. ИИ способен эффективно обобщать длинные или сложные тексты, подготавливать резюме гигантских статей или целого ряда научных исследований за считанные секунды. 4️⃣ Кассиры и биржевые трейдеры Алгоритмы искусственного интеллекта широко применяются в трейдинге, принимая быстрые решения на основе рыночных данных и анализа тенденций. Они способны выявлять зоны высокой прибыли и совершать сделки с молниеносной скоростью, которая выходит за рамки человеческих возможностей. 5️⃣ Водители такси Развитие беспилотных автомобилей будет происходить очень быстро. Технологии ИИ позволят создать новых универсальных водителей, которые не нарушают правил, не требуют сна и отдыха, не просят зарплаты. Если это действительно произойдет, людям не выиграть конкуренцию у ИИ в этой сфере. 👉 @aisimpleru

Многие СМИ сейчас уделяют пристальное внимание положительным свойствам искусственного интеллекта. Складывается впечатление, что методы ИИ универсальны, точны и быстро реализуемы в устройствах и компьютерных программах. Для умного человека ясно, что это не так. В предыдущих постах (тут и тут) мы уже кратко говорили о преимуществах и недостатках нейронных сетей. В статье на сайте мы рассмотрели этот момент более подробно. Поговорили про нормальное обучение, переобучение и недообучение нейросетевых моделей и к чему это может привести. 👉 @aisimpleru