Data Science | Machinelearning [ru]

Когда уязвим не ИИ, а браузер 😭 Если раньше угрозы были очевидными и касались в основном серверов или сетевого трафика, то сегодня уязвимой может быть сама строчка текста, которую вы вводите в поле запроса. Это атака, которую можно назвать Man-in-the-Prompt, и она может стать настоящим кошмаром для безопасности, особенно в мире, где ИИ уже почти везде.

Атакующему достаточно простого расширения для браузера, которое выглядит абсолютно безобидно. Оно получает доступ к DOM (структуре страницы) и начинает незаметно вставлять свои инструкции прямо в ваш запрос. Модель продолжает отвечать, но эти ответы уже не те, что вы ожидали. Пользователь продолжает общаться с ИИ как обычно, а на самом деле данные уже могут вытекать через незаметные каналы. Системы защиты, такие как DLP или CASB, которые традиционно мониторят трафик, здесь бессильны. Всё происходит локально, внутри браузера, ещё до того, как данные покидают устройство. Речь идёт не только о личных данных, но и о конфиденциальной информации — от API ключей и платежных данных до медицинских записей и юридических документов. Любой, кто работает с такими данными, будь то инженеры, юристы или топ-менеджеры, рискует стать жертвой этой атаки. Удивительно, но эта атака может пройти незамеченной, так как все запросы проходят через обычный HTTPS-трафик, а расширение не требует дополнительных прав. Вы можете заметить странные изменения в файлах расширений, скрытые вкладки или необычные обращения к доменам. Однако, всё это может быть настолько мелким, что пройти мимо. Как это работает в реальности? 😐 Исследователи LayerX продемонстрировали, как расширение может внедрять вредоносные промты в ChatGPT и Google Gemini. В случае с ChatGPT, всё выглядит как обычный запрос, но за кулисами происходит утечка данных, и злоумышленники могут сохранять эти данные в свои внешние логи. Для Google Gemini ситуация аналогична: злоумышленник может внедрять промты в сервисы Google Workspace, вытаскивать конфиденциальную информацию, такую как письма, контакты и документы, даже если панель Gemini скрыта. Как защититься? 💻 • Контролируйте расширения браузера: разрешайте только подписанные пакеты и проверяйте их происхождение. Не забывайте про режим разработчика — отключайте его для корпоративных браузеров. • Используйте CSP (Content Security Policy) для защиты от вредоносных скриптов и ограничения доступа к внешним ресурсам. • Разделяйте использование ИИ и обычный веб-сёрфинг: для работы с чувствительными данными используйте отдельные профили или браузеры. • Мониторинг и анализ DOM-активности: отслеживайте скрытые вкладки, изменения в манифестах и сервис-воркерах, чтобы выявить незаметные атаки. • Управляйте ключами API и токенами: используйте секрет-менеджеры, не храните их в браузере, ограничьте их права и сроки жизни. • Обучайте команду: важно понимать, что данные не должны попадать в промты. Симуляции атак помогут закрепить эту информацию в корпоративной культуре.

Вопрос защиты от атак через браузерные расширения вряд ли останется простым. Но, как бы ни были сильны наши традиционные средства защиты, всё больше становится очевидным, что новые атаки требуют новых подходов. Data Science

Проверьте свой уровень в Data Science с тестом от Авито 🚀 Тест основан на практических кейсах из реальной работы DS-команд компании – без абстрактных вопросов и лишней теории. Что вы получите: – чёткое понимание текущего уровня и зон роста; – возможность открыть результаты рекрутерам и повысить шансы на оффер; – подробный разбор ответов на почту в течение дня. Хорошая возможность проверить себя на праздниках без лишней суеты и наметить дальнейшее развитие. Пройти тест →

🤩 Вот оно, будущее В Китае парализованный пациент смог силой мысли управлять инвалидной коляской на улице и отдавать команды роботу-собаке для доставки еды. Прорыв, по словам ученых, в переходе от виртуального взаимодействия с курсором и экранами к управлению физическими устройствами практически без задержки. В следующем году они, кстати, планируют провести масштабные клинические испытания в больницах для демонстрации универсальности продукта. ✖️ xCode Journal

Data Holiday Box. Проведите праздники с пользой Хотите в Data Science, но не понимаете, с чего начать и какое направление выбрать? Аналитика данных, машинное обучение, инженерия данных — профессий много, а ошибка на старте может стоить времени и денег. Data Holiday Box — это бесплатный набор, который поможет разобраться. Внутри: 6 вебинаров от экспертов, которые покажут Data Science изнутри, и 6 полезных подарков — гайды, чек-листы и подборки ресурсов. Вы узнаете, какие навыки будут востребованы в 2026 году, поймёте разницу между ролями и выберете направление, которое подходит именно вам. Забирайте Data Holiday Box и проведите каникулы с пользой для будущей карьеры. Записаться #реклама 16+ karpov.courses О рекламодателе

Короче, нашёл классную штуку и не могу не поделиться 🙂 Yandex Cloud вместе с Forbes сделали новогодний спецпроект в формате игры, вдохновлённой «Героями меча и магии». Только вместо замков и магии - данные, аналитика и киберпанк. Ты играешь за героя данных, а всякие PostgreSQL, ClickHouse, Trino, DataLens и прочие инструменты - это уже артефакты. Их можно выбивать, крафтить, комбинировать и с их помощью решать реальные задачи из финтеха, ритейла и промышленности. Прямо мини-сюжеты, но про нашу работу 😄 Есть немножко пасхалок (олдфаги «Героев» точно оценят), истории у персонажей разные, а цель одна - победить дата-хаос и чуть прокачаться в понимании, как вообще с данными жить. Плюс можно играть и с компа, и с телефона, а на лендинге ещё показывают реальные кейсы, как эти «артефакты» из Yandex Cloud используют в бизнесе. Если ты CDO, аналитик, инженер или просто скучаешь по играм детства - очень советую заценить тут.

🤖 Исследователи разослали 37 000 фейковых резюме выпускников и посмотрели, кого чаще зовут на интервью В резюме рандомизировали всё: специальность, стажировки, обучение за границей и компьютерные навыки. Что внезапно работает:

— Стажировки, ориентированные на развитие софт скиллов — причем даже в откликах на аналитические вакансии. — Учёба за границей ожидаемо также повышает шансы найти быстро свою первую работу. — Программирование + анализ данных дает жирный плюс к коллбэкам. При этом по отдельности эти навыки эффекта не имеют.

✖️ xCode Journal

Конкурс в области ИИ Банк ВТБ и Институт ИИ МГУ дали старт приёму заявок на участие в Data Fusion Awards 2026. Это конкурс научных статей, по итогам которого 3 автора получат по 1 000 000 рублей, а их работы будут признаны научным прорывом года в ИИ. Подать заявку нужно до 20 января. Требования к участникам и к их статьям, а также другие подробности можно посмотреть на сайте конкурса.

🖥 Как научить LLM работать с поиском в интернете Мы уже давно научили модели решать задачи, как математические уравнения или вести разговоры. Но когда речь заходит о реальной проверке фактов, поиск и анализ информации в интернете для многих LLM остаётся проблемой. Ведь одного запроса в поисковике недостаточно. Как и нам, так и моделям нужно уметь «идти по следам», уточнять данные и делать выводы на основе множества источников. Именно для этого команда InfoAgent создала своего рода «веб-детектива» — агента на базе LLM, который эффективно и последовательно ищет, анализирует и сопоставляет данные.

Что же отличает этот подход от обычных поисковых систем? В том, что агент не просто делает один запрос и «сдаётся». Он строит целую цепочку шагов, как опытный аналитик, постепенно уточняя информацию и проверяя факты. ❓ Как работает агент? Основной принцип работы модели заключается в чередовании двух инструментов: поиска и просмотра страниц. Поиск предоставляет список URL с короткими фрагментами текста, а просмотр — длинные фрагменты выбранных страниц. Все найденные данные фиксируются в контексте, создавая «след», который агент использует для дальнейших шагов, а не полагается исключительно на память. Команда не использовала стандартные API для поиска. Вместо этого был создан собственный конвейер, который фильтрует и обрабатывает информацию гораздо точнее. Результаты поиска проходят через BM25, эмбеддинги и ререйканинг, что даёт возможность LLM собирать более точные и тематичные сниппеты. ❗️ Почему обычный «вики-ретривер» не подходит? InfoAgent делает акцент на задаче, где важно не просто находить факты, а проверять их на глубоком уровне. Для этого они специально «размывают» данные — имена заменяются на описания, даты превращаются в диапазоны, а точные формулировки перефразируются. Это заставляет модель не торопиться и искать более точные данные. При этом вопросы подбираются таким образом, чтобы агент не мог дать быстрый ответ — они требуют развернутого анализа. ⁉️ Как обучают модель? Основным этапом обучения является создание длинных траекторий запросов, иногда до 20 шагов, где каждый запрос уточняет предыдущий. Изначально агент учится на размеченных данных (SFT), а затем проходит этап усиления с помощью обучения с подкреплением (RL). Это помогает модели не останавливаться на первом попавшемся ответе, а продолжать искать до тех пор, пока не будет найдено точное решение. 🔼 На практике, агент InfoAgent демонстрирует выдающиеся результаты. Например, на сложных бенчмарках он показывает отличные результаты, часто обходя более крупные модели с большим количеством параметров. При этом переход от SFT к RL существенно повышает точность поиска, делая результаты более разнообразными и точными.

InfoAgent наглядно демонстрирует, как можно улучшить работу LLM с поиском в интернете. Он учит модель не просто генерировать ответы, а проводить глубокий анализ данных, проверять факты и делать выводы, как это делал бы каждый их нас. В конечном итоге, это подход, который может стать незаменимым в продуктах, где важна точность, проверка источников и репродукция информации. Data Science

Универсальная коллекция инструментов для повседневных задач 💃 Если вы ищете быстрое и удобное решение для различных задач, от работы с файлами до улучшения продуктивности, MyTinyTools — это именно то, что вам нужно. Эта онлайн-платформа объединяет множество мини-сервисов, которые помогают решать повседневные задачи без установки и регистрации. Что предлагает MyTinyTools?

• Текстовые инструменты: генерация текста, перевод, анализ тональности, редактирование. • Файловые операции: конвертация файлов, их сжатие, разделение и объединение. • Медиаобработка: редактирование изображений и видео, аудио-конвертеры. • Разработка: валидация кода, его форматирование и минификация. • Продуктивность: таймеры Pomodoro, календари и планировщики задач. • Безопасность: шифрование данных, генерация паролей и проверка безопасности.

Это удобный и быстрый инструмент для выполнения множества повседневных задач, который помогает сэкономить время и усилия. Для всех, кто ценит простоту и доступность, это идеальный помощник в онлайн-формате. Data Science

Справочник про СХД, который всегда под рукой Контент для «технарей» от инженеров «Рэйдикс». Анонсы новых релизов и полезных мероприятий. Актуальные функциональности и технологии. Главное об импортозамещении в отрасли. Телеграм-канал «Рэйдикс» Подписаться #реклама 16+ О рекламодателе

📖 Краткий словарь программистов подъехал Срочно запоминаем определения микросервисной архитектуры и функций HR BP. ✖️ xCode Journal

⚡️ Доступ к папке «AI & TECH & IT» открыт на 24 часа! Вся полезная информация о заработке на ИИ и технологиях в одном месте: ✦ Живи и работай в мире, где правят технологии. ✦ Автоматизируй заявки с помощью ИИ-менеджеров. ✦ Используй промпты-убийцы, которые можно продавать дорого. Подписывайтесь и прокачивайте свои навыки прямо сейчас с помощью папки «AI & TECH & IT»! ПОДПИСАТЬСЯ

✔️ Фотоника и искусственный интеллект ИИ стремительно развивается. Но несмотря на все достижения, есть одно «но», которое не даёт индустрии двигаться вперёд так стремительно, как хотелось бы. Мы не можем забывать о физических ограничениях. Например, если заглянуть в будущее, мы видим, что текущий подход к вычислениям в ИИ, ориентированный на увеличение объема моделей (экстенсивный рост), сталкивается с неизбежными барьерами, такими как высокие затраты на энергию и охлаждение. Подобные ограничения буквально сводят на нет многие амбиции, особенно на уровне железа.

📌 Тем не менее, есть ли альтернативы, которые могут радикально изменить картину? Ответ, возможно, в фотонике. Мы все привыкли к идее «бесконечного» роста вычислительных мощностей, но с 2006 года закон Мура не работает, как раньше. Транзисторы почти достигли своих физических пределов, а производительность процессоров больше не зависит от тактовой частоты. Все больше мы видим отказ от принципа моноядерных процессоров в пользу многоядерных решений, но тут тоже есть проблемы. Многозадачность и многопоточность, несмотря на свою популярность, не всегда приносят реальный выигрыш. Задумайтесь на секунду: это ли не прямой путь к масштабированию проблем, а не их решению? Как бы мы ни пытались улучшить старую архитектуру, её физические ограничения — перегрев, высокое энергопотребление и медленный доступ к памяти — всё равно остаются. 💬 Фотоника: революционный шаг вперёд Вот тут и появляется возможность для изменения парадигмы — фотоника. Это технология, основанная на использовании света для передачи данных. В отличие от традиционных электроники, фотоника позволяет значительно ускорить вычисления благодаря скорости распространения света и моментальному изменению состояний. 🕯 Фотонные устройства обладают множеством преимуществ: они не перегреваются, потребляют гораздо меньше энергии и могут работать с гигантскими объёмами данных. Но есть и сложности — например, трудность хранения данных. В фотонных системах оперативная память почти не используется, а данные обрабатываются по принципу параллельных вычислений с разными длинами волн. Но эти ограничения могут стать преимуществами в специфических задачах — например, в инференсе ИИ, где важна высокая пропускная способность и минимальное энергопотребление. И тут фотоника может стать настоящей находкой, особенно если говорить о масштабных проектах, таких как вычислительные фабрики.

Итак, несмотря на очевидные трудности, фотоника представляет собой реальный шанс для решения множества вычислительных задач. Однако чтобы эта технология стала мейнстримом, нужно больше исследований и интеграции с существующими системами. Data Science

Российские генеративные модели Kandinsky 5.0 Video Lite и Pro в международной text-to-video арене 🔘Pro версия является ТОП-1 опенсорсом в мире 🔘Lite версия (2B параметров) лучше первой версии Sora 🔘На данный момент Сбер уступает только топовым мировым бигтех компаниям: Google (Veo 3.1, Veo 3), OpenAI (Sora 2), Alibaba (Wan 2.5), KlingAI (Kling 2.5, 2.6); в паритете с Luma AI (Ray 3), MiniMax (Hailuo 2.3) — отрыв по ELO максимум 3 балла, при 95% доверительном интервале оценивания +-21 балла 🔘Для российских генеративных моделей выход на международную арену — уникальное событие 🚀 Полезные ссылки: 🔘Посмотреть весь лидерборд: lmarena 🔘Почитать подробнее про Kandinsky 5.0: пост, техрепорт 🔘Open Source Kandinsky 5.0: github и hf

🌐 Google ADK и «Startup Technical Guide: AI Agents»: новый стандарт создания AI-агентов Еще недавно не существовало четкой дорожной карты для создания AI-агента. В новом документе Google, на 64 страницах, охватывает весь путь от концепции до внедрения в продакшн, делая акцент на том, что важна не только идея, но и практика. Но чем же он отличается от всего, что было до этого?

📌 Почему AI-агенты — это не чат-боты Одно из главных отличий, о котором говорит гайд, — это то, что AI-агенты — это не просто чат-боты, а полноценная парадигма. Мы не просто даем команду и получаем ответ. Агент, в отличие от бота, может планировать, принимать решения, привлекать различные источники данных и инструменты для решения комплексных задач. Это что-то гораздо более амбициозное. Например, агент может самостоятельно организовать запуск продукта или решить проблему в цепочке поставок. Это, на мой взгляд, действительно переломный момент. Я сам, когда впервые создал простейшего агента, который выполняет сложные задачи без постоянного контроля, почувствовал, что это совсем не тот же чат-бот. Это совершенно новый класс решений, и Google, похоже, задает стандарты для всех нас. 🕯 ЛЛМ не достаточно — нужно строить инфраструктуру Google прямо заявляет: даже самая мощная языковая модель не сделает агента работоспособным без грамотной инфраструктуры. Для того чтобы агент стал чем-то большим, чем просто демонстрацией возможностей LLM, нужна четкая архитектура, интеграция данных и скалируемые инструменты. И гайд подробно расписывает, что нужно для этого — от памяти и оркестрации до логики работы с внешними источниками. Именно такие моменты зачастую игнорируются. Вначале создается нечто вроде скрипта с GPT-4 и API, а потом агент не выдерживает нагрузок и просто падает. Google предлагает решение: использовать готовую инфраструктуру, которая упрощает создание стабильного и работоспособного агента. Это каркас, который снимает часть головной боли и позволяет сосредоточиться на более важных аспектах. ⚠️ Погружение в реальность: от фантазий к фактам Еще один важный момент — это Grounding. Как избежать «галлюцинаций» модели? Google предлагает привязать агента к достоверным источникам данных через методы, такие как Retrieval-Augmented Generation (RAG), что значительно повышает точность ответов. Агент становится не просто генератором текста, а исследователем, который проверяет свои данные. Часто агенты, не подключенные к реальным источникам данных, могут выдавать совершенно некорректные ответы. Здесь, например, Google использует возможность интеграции с поисковыми системами, чтобы агент сам решал, когда и как использовать данные. ⛔️ Безопасность и этика — обязательные требования Особое внимание уделяется безопасности. В процессе разработки AI-агентов важнейшим фактором является защита данных и этическое поведение. На этом этапе уже невозможно пускать все на самотек. Для таких проектов нужны системные проверки, ограничения и мониторинг на каждом шаге. У Google в этом плане четкий подход: безопасность должна быть встроена в процесс с самого начала.

Прочитав этот гайд, я понял, что Google действительно задает новый стандарт в области создания AI-агентов. Это не просто документация, а руководство по построению надежных, безопасных и масштабируемых систем. Дисциплинированный подход, который пропагандирует Google, станет основой разработки таких технологий. Data Science

🔥 БЕСПЛАТНЫЙ КУРС ПО СОЗДАНИЮ НЕЙРО-СОТРУДНИКОВ НА GPT И ДРУГИХ LLM 🔥 Ищете практический и углубленный курс, чтобы освоить создание нейро-сотрудников? Мы создали курс из 5 объемных занятий. Это именно то, что нужно, чтобы прокачать свои навыки абсолютно бесплатно! 📌 Темы занятий: 1. Введение в мир нейро-сотрудников 2. Как работают LLM и их аналоги 3. Создание базы знаний для нейро-сотрудника (RAG) 4. Тестирование и отладка нейро-сотрудников 5. Интеграция нейро-сотрудников в Production Вот 5 тем курса - он максимально простой и доступный, общеобразовательный, без какого-либо сложного программирования 📚Прохождение этого курса, скорее всего, займет у вас от 1 до 3 часов 🤖 Присоединяйтесь к нашему бесплатному курсу и разберитесь в этой увлекательной теме с нами!

😁 Сложности организации новогоднего корпоратива: 💥 xCode Journal

🚫 Как ИИ может создать путаницу в планах на путешествие Технологии планирования путешествий с использованием ИИ стремительно завоевывают популярность, и это неудивительно. Сервисы вроде ChatGPT или Layla делают нашу жизнь проще, помогая нам найти интересные маршруты, рекомендации по достопримечательностям и даже бронировать билеты. Но, как и любая новация, эти инструменты имеют свои темные стороны. Недавние случаи с «путеводителями» ИИ показали, как легко можно попасть в ловушку, доверившись такой системе.

❌ Несуществующие места и опасные советы Недавняя история из Перу – яркий пример того, как ИИ может сбить с толку. Путешественники, вооруженные рекомендациями из ChatGPT, искали путь к несуществующему Священному каньону Умантай. Они поверили в описание, которое звучало убедительно, но, как выяснилось, это был просто фальшивый маршрут, созданный ИИ. Разочарование могло закончиться трагически: местность в Перу требует четкого планирования и знания маршрутов, иначе можно попасть в экстремальные условия. Эта ошибка стоит напоминания: технологии — не всегда надежные советчики. 🥸 От ошибок к «галлюцинациям» ИИ Система ИИ не «знает» фактов. Она лишь анализирует огромные объемы информации и создает текст, который звучит правдоподобно. Это приводит к так называемым «галлюцинациям» - когда ИИ выдает ложные или искаженные данные, при этом не имея никакого сомнения в их правдивости. Недавний случай, когда сервис Layla уверял путешественников, что в Пекине стоит Эйфелева башня, — это пример того, как быстро можно попасть в нелепую ситуацию, просто следуя советам ИИ. 💯 Неоправданная уверенность ИИ Проблема в том, что ИИ часто выдает информацию с такой уверенностью, что пользователь не замечает ошибок. Причем такие галлюцинации могут быть не только смешными, но и опасными. Например, карты и маршруты, предложенные ИИ, могут привести нас в места, которые не существуют или которые не подходят для туристов. Проблемы появляются, когда люди, не проверяя информацию, следуют этим путеводителям.

Планируя путешествия с помощью ИИ, важно помнить, что полагаться на систему как на единственный источник истины нельзя. Прежде чем отправиться в путь, важно перепроверить все данные, заданные искусственным интеллектом. Не забывайте сохранять гибкость и быть готовыми к изменениям, ведь чем бы ни оказалось ваше путешествие, в конечном итоге важно получать удовольствие. Data Science

Как грамотно управлять LLM для эффективных решений в продакшене? Когда речь идет о больших языковых моделях (LLM), большинство людей думают, что всё сводится к поиску «хитрого» промпта. Но это не так. На самом деле, успешная работа с LLM в продакшн-среде зависит не только от того, что мы ей даём, но и от того, как управляем её рассуждениями и как обрабатываем результат. Сегодня хочу поделиться своими мыслями о паттернах, которые я использую, чтобы превратить эту мощную технологию в инструмент, способный решать реальные задачи.

Что за паттерны? Задумайтесь: мы работаем с LLM как с набором инструментов, а не как с волшебной коробочкой, которая даст вам готовый ответ на всё. Тут важно понимать, как и на каких этапах можно вмешиваться в процесс. Итак, рассмотрим паттерны работы с LLM по этапам: от ввода (Input) до вывода (Output). Я собрал основные подходы, которые помогут вам извлечь максимум пользы из нейросетей. ✔️ Входные данные: как настроить контекст Всё начинается с контекста. Даем ли мы LLM достаточно информации для правильного понимания задачи? От этого зависит, как она сгенерирует ответ. Промптинг — это базовый шаг, где вы формулируете запрос, подставляя в него все необходимые переменные. Здесь важно быть максимально точным и учесть все нюансы. Вы также можете использовать такие технологии, как Retrieval-Augmented Generation (RAG), чтобы дополнить запрос свежей информацией из базы данных. ✔️ Управление рассуждениями: как заставить модель думать Теперь, когда LLM понимает задачу, важно, чтобы она правильно решала её. Часто модели делают ошибки, пытаясь «сразу ответить». Чтобы этого избежать, можно разбить задачу на шаги. Например, используйте технику Chain of Thought (CoT), чтобы попросить модель «думать по шагам». Другой интересный паттерн — это агенты и инструменты, которые предоставляют модели дополнительные возможности для работы с внешними системами, такими как поиск в интернете или доступ к API. С помощью инструментов модель может «вызывать» внешние функции, например, искать информацию в интернете или работать с базой данных. ✔️ Структурированные выводы: как гарантировать правильность результата Порой важно, чтобы вывод был не только точным, но и структурированным. Для этого можно использовать структурированные выводы, например, Pydantic-классы, которые задают схему данных. Это поможет избежать ошибок в форматировании, а модель будет следовать правилам, не выходя за рамки нужной структуры. ✔️ Работа с результатом: как его обрабатывать и улучшать После того как модель сгенерировала ответ, важно его проверить и отформатировать. Если ответ оказался ошибочным, используйте исправляющие промпты, чтобы модель перегенерировала результат с учётом ошибок. Также не забывайте про Guardrails — фильтры безопасности, которые могут предотвратить нежелательные или опасные ответы. Это может быть полезно, например, для исключения токсичного контента или нежелательных результатов.

Как видите, работа с LLM требует грамотного подхода на каждом этапе: от формирования запроса до обработки результатов. Здесь важно не только дать машине информацию, но и контролировать её мышление. Успех в продакшн-среде зависит от того, насколько чётко вы выстроите взаимодействие с моделью. Data Science

☄️ GenAI на вашем устройстве: Chrome, Chromebook Plus и Pixel Watch с LiteRT-LM Время от времени появляется что-то, что может изменить подход к разработке приложений. Google выпустил новый фреймворк LiteRT-LM, который позволяет запускать LLM (Large Language Models) прямо на устройствах, таких как Chrome, Chromebook Plus и Pixel Watch. Да, вы правильно поняли — GenAI теперь доступен в оффлайне, без необходимости в API-вызовах и без задержек, которые часто возникают при обращении к удалённым серверам.

💥 Для разработчиков это настоящая находка. Почему? Всё просто: • Отсутствие задержек — LLM теперь работает прямо на устройстве, что исключает лаги, связанные с удалёнными серверными вызовами. • Нет расходов на API — экономия на сервисах, которые обычно требуют платных запросов. • Локальный GenAI — теперь все вычисления и процессы происходят непосредственно на вашем устройстве. 🔔 Что стоит знать о LiteRT-LM? Google использует LiteRT-LM в своих устройствах, таких как Gemini Nano, Chromebook Plus и Pixel Watch. Фреймворк открывает доступ к множеству возможностей: • Открытый C++ интерфейс — это позволяет интегрировать LiteRT-LM в кастомные решения. Вы можете настроить систему под свои задачи. • Архитектура: LiteRT-LM состоит из Engine и Session. Engine хранит базовую модель и ресурсы, доступные для всех функций. Session — это контекст, с возможностью клонирования и переключения задач с минимальными затратами ресурсов. • Поддержка аппаратного ускорения (CPU, GPU, NPU) и кроссплатформенность — работает на Android, Linux, macOS и Windows, обеспечивая широкие возможности для различных устройств. • Минимальный pipeline для Pixel Watch — Google продумал оптимизацию под ограниченные ресурсы устройства, что позволяет запускать GenAI даже на устройствах с небольшой памятью. ⚠️ Что включает в себя новый стек от Google? Google не просто выпустил LiteRT-LM, а открыл целый стек для работы с GenAI: • LiteRT — это движок, который быстро запускает AI-модели прямо на устройстве, оптимизируя время отклика. • LiteRT-LM — интерфейс C++ для работы с LLM, объединяющий кэширование промптов, хранение контекста, клонирование сессий и прочее. • LLM Inference API — готовые решения для интеграции GenAI в приложения, доступные для разработчиков на Kotlin, Swift и JS. Эти интерфейсы облегчают процесс внедрения GenAI в мобильные и веб-приложения.

Это целая экосистема для создания мощных, высокопроизводительных решений, которые работают в оффлайне, на вашем устройстве, без задержек и дополнительных расходов на API. Если вы разрабатываете приложение, использование этого фреймворка может значительно ускорить процесс и снизить стоимость. Data Science