Data Science | Machinelearning [ru]

LLM в продакшене: реальные проблемы В демо всё выглядит магией: модель отвечает, пишет код, общается как человек. В продакшене начинается реальность.

И она гораздо менее глянцевая 👇

1️⃣ Галлюцинации — уверенно, но неправильно LLM не “знает”. Она генерирует наиболее вероятный ответ. Поэтому: 👉 придумывает факты 👉 ссылается на несуществующие источники 👉 уверенно врёт

Самое опасное — звучит правдоподобно.

2️⃣ Нестабильность ответов Один и тот же запрос: 👉 сегодня → один ответ 👉 завтра → другой 👉 с чуть изменённой формулировкой → третий

Для бизнеса это боль.

👉 сложно тестировать 👉 сложно гарантировать качество 3️⃣ Prompt engineering — это костыль В теории: «просто напиши хороший prompt» На практике: 👉 десятки версий prompt’ов 👉 постоянный тюнинг 👉 ломается от малейших изменений

Это не инженерия. Это шаманство с контролем версий.

4️⃣ Стоимость растёт незаметно Каждый запрос = токены = деньги А дальше: 👉 длинные контексты 👉 RAG 👉 chain’ы 👉 retries

Прототип за $50 превращается в систему за $5000+.

5️⃣ Latency убивает UX LLM думает долго: 👉 1–3 секунды — норм 👉 5–10 секунд — уже раздражает 👉 10+ секунд — пользователь ушёл Особенно критично для: 👉 чатов 👉 real-time систем 👉 API 6️⃣ Evaluation — это ад Как понять, что стало лучше? 👉 accuracy не работает 👉 метрик нет 👉 нужно вручную оценивать ответы

Evaluation = дорого + субъективно + медленно.

7️⃣ Безопасность и контроль LLM может: 👉 сгенерировать токсичный текст 👉 выдать приватные данные 👉 обойти ограничения Нужны: 👉 guardrails 👉 фильтры 👉 логирование 👉 мониторинг 8️⃣ Контекст — ограниченный ресурс Даже у больших моделей: 👉 ограничение на токены 👉 длинные диалоги ломаются 👉 важная информация теряется

Поэтому без RAG никуда.

💥 Главный инсайт LLM в продакшене — это не про модель. Это про систему вокруг неё: 👉 retrieval 👉 кеширование 👉 monitoring 👉 fallback’и 👉 eval pipeline В одном предложении

Сложность LLM-продукта — не в том, чтобы «подключить GPT», а в том, чтобы сделать его надёжным.

CSP, CORS и security headers — что фронтендер обязан понимать глубже Принято считать, что безопасность — это зона бэкенда. Фронтенд «просто отправляет запросы и рендерит UI». На практике фронтенд напрямую влияет на то, будет приложение безопасным или нет. CORS — это не про «разрешить запрос» CORS часто воспринимают как настройку: «чтобы запросы не падали из браузера». Но по сути это механизм, который говорит: кто имеет право читать ответ. Важно понимать: 👉 сервер может обработать запрос 👉 но браузер может не дать прочитать ответ Именно поэтому: 👉 Access-Control-Allow-Origin: * — не «фикс», а потенциальная дыра 👉 credentials + wildcard — запрещённая комбинация

CORS — это про контроль доступа, а не про обход ошибок.

CSP — ваш последний рубеж Content Security Policy — это защита от XSS, даже если у вас уже есть уязвимость. Пример:

Content-Security-Policy: default-src 'self'; script-src 'self'

Что это даёт: 👉 запрещает выполнение inline-скриптов 👉 блокирует загрузку скриптов с чужих доменов 👉 режет целый класс атак Но есть нюанс. Если CSP выглядит так:

script-src * 'unsafe-inline' 'unsafe-eval'

Это не защита. Это иллюзия.

Security headers, которые реально важны 👉 X-Content-Type-Options: nosniff Браузер не пытается угадать тип файла. Меньше атак через подмену. 👉 X-Frame-Options / frame-ancestors Защита от clickjacking. 👉 Strict-Transport-Security (HSTS) Принудительный HTTPS. Без вариантов. 👉 Referrer-Policy Контроль того, какие данные уходят при переходах. Где фронтендер влияет напрямую 👉 какие скрипты подключаются 👉 есть ли inline JS 👉 используются ли eval-подобные вещи 👉 как работают сторонние виджеты 👉 как обрабатываются пользовательские данные

Можно иметь идеальный бэкенд и сломать всё на уровне UI.

Частая ошибка «Мы включили CSP — значит всё ок». Но: 👉 нет nonce / hash 👉 разрешены любые источники 👉 подключены сторонние скрипты без контроля

В итоге защита есть только на бумаге.

Главная мысль CSP, CORS и заголовки — это не чекбокс в настройках. Это часть архитектуры.

Если фронтенд не понимает, как они работают, безопасность становится случайностью.

С помощью ЭТОГО твоя зп вырастет в 3 раза! Сегодня уже нет смысла спорить, заменят ли нейросети человека. Реальность жестче: человек с ИИ заменяет того, кто до сих пор работает «руками». Пока 95% людей генерят котиков, единицы автоматизируют процессы и кратно растут в деньгах. Я собрал 20+ каналов, которые реально дают результат. Эти знания для тех, кто хочет быть в топ-1% рынка, вне зависимости от профессии. Что внутри этой подборки:

— Vibe-coding: запуск своего AI-SaaS без навыков программирования. — ИБ и OSINT: поиск любой информации за 5 минут и защита данных. — Нейрогенерация: схема контент-фермы с доходом от $3000 в месяц. — Карьера: как упаковать опыт и забрать оффер за неделю.

Собрал эти ресурсы для себя — пользуйтесь. Это удобный способ навести порядок в инфополе и получать только проверенную практику в один клик. Подписывайтесь на каналы, пока доступ открыт: https://t.me/addlist/urg6vBFn8ZcwYWJi

🤯 Безумие Парень заработал $5000 за 3 дня на своем пет-проекте — он создал то самое хайповое приложение, которое заставляет ваш Mac стонать от ударов. А вы и дальше думайте над идеями стартапов ✖️ xCode Journal

Приходите на неформальную офлайн-встречу с командой R&D Технологии, нетворкинг и «внутрянка» проектов — всё это ждёт вас на Welcome Time*, который пройдёт 11 апреля в штаб-квартире Яндекса в Москве. 💠 Приглашаем датасаентистов, дата-аналитиков и продуктовых аналитиков с опытом работы на Python** от трёх лет и опытом с LLM/VLM*** ♾ В этот раз встречать вас будет команда R&D. Спикеры расскажут, зачем генеративным моделям нужны аналитики, как работают голосовые технологии Алисы и как её делают человечнее. После докладов для желающих проведём диагностику навыков. Интервьюер подсветит ваши сильные стороны и покажет зоны роста. А хорошие результаты засчитаем как одну техническую секцию при прохождении собеседования в Яндекс. 🔗Подробная программа и регистрация — на сайте: https://yandex.ru/project/events/welcometimes-all

🤣 Оказывается, Claude Code сохраняет все маты пользователя и записывает в специальный файл Это не шутка: инфу откопали из-за случайного слива кода приложения. Хорошая новость в том, что Anthropic делает это не для того, чтобы в день восстания ИИ пройтись по списку, а чтобы отслеживать, когда юзер «сгорел» и перешел на маты и из-за чего пятая точка полыхнула. Но вы на всякий случай держите себя в руках ✖️ xCode Journal

С тебя — желание работать над передовой генеративной языковой моделью. С нас — классные условия и возможность попасть в Сбер за один день! 😉 4 апреля состоится One Day Offer* для NLP-специалистов, которые готовы изменить представление о возможностях ИИ и создать технологию будущего. За последний год твоя будущая команда: ✔️ выпустила сильную русскоязычную модель GigaChat MAX уровня GPT-4 ✔️открыла доступ к MoE-модели А следующее достижение может быть уже с твоим участием. Регистрируйся по ссылке и будь готов к карьерному взлёту! * One Day Offer — предложение о работе за один день. * NLP-специалист — инженер по разработке больших языковых моделей

🤩 ИИ помог основателю GitLab в борьбе с раком! У Сида Сийбранди диагностировали редкую форму рака и стандартное лечение не помогало, а врачи больше ничего не могли предложить. Сид не опустил руки и начал действовать сам: собрал экспертов, погрузился в исследования и использовал для помощи ChatGPT, чтобы быстрее работать с научной литературой, анализировать множество данных о своем здоровье и искать варианты терапии. Хоть ИИ сам не лечил рак (это делали люди), но модель помогла в РАЗЫ ускорить все тогда, когда каждый день на счету. ✖️ xCode Journal

Коротко. ИИ уже не «технология будущего», а рабочий инструмент настоящего. Он пишет тексты, анализирует данные, автоматизирует продажи, создает изображения и экономит десятки часов в неделю. Вопрос уже не в том, заменит ли ИИ людей. Вопрос — кто научится использовать его быстрее. Подборка сильных экспертов в сфере ИИ — ниже 👇 https://t.me/addlist/LG8Tb4Uy0NRiMmM6

Весь стек технологий в одной папке 📂⚙️ Мир ИИ меняется быстрее, чем мы успеваем обновлять ленту. Поэтому, мы собрали экспертную папку AI & IT & DSGN, которая поможет вам не просто следить за трендами, а использовать их в работе прямо сейчас. Что внутри: — Последние новости и прорывы в мире IT — Внедрение ИИ-менторов в корпоративную культуру. — Технологии Nvidia для геймдева и работы. — Автоматизация дизайна: инструменты, которые экономят часы работы. — Инструменты и лайфхаки для разработчиков и аналитиков 🔗 ПОДКЛЮЧИТЬ ПАПКУ

😁 Конечно, с такой-то нищенской зарплатой... 💥 xCode Journal

🚀 GigaChat 3.1 Ultra и GigaChat 3.1 Lightning в опенсорс под MIT лицензией! Обе модели • Обучены с нуля — без инициализации зарубежными весами • MoE + MTP + MLA • Совместимы с HuggingFace, llama.cpp / vLLM / SGLang Код и веса уже на платформе GitVerse. Это не просто релиз весов, а результат большой инженерной работы над качеством, alignment и стабильностью модели. В блоге команда поделилась результатами и своими наработками. В релизе: высокие результаты на аренах, улучшенный function calling, решённая проблема циклов, DPO в нативном FP8, найденный и зарепорченный баг в SGLang при dp > 1.

Fine-tuning vs RAG: что эффективнее Кажется, что есть два пути прокачать LLM: 👉 Fine-tuning — дообучить модель 👉 RAG (Retrieval-Augmented Generation) — дать доступ к базе знаний И главный вопрос: что лучше? Не существует «лучше». Есть «под задачу». Разберёмся 👇 Что такое Fine-tuning?

Ты берёшь модель и доучиваешь её на своих данных. Модель: 👉 меняет веса 👉 «запоминает» стиль, паттерны, формат Это как переучить мозг модели. Хорошо подходит для: 👉 кастомного тона (support, юрист, врач) 👉 форматирования ответов 👉 специфичных паттернов

Что такое RAG?

Ты не меняешь модель. Ты даёшь ей доступ к внешним данным: 👉 запрос 👉 поиск по базе (vector DB) 👉 релевантные куски 👉 генерация ответа Это как открыть шпаргалку перед ответом. Хорошо подходит для: 👉 актуальной информации 👉 больших баз знаний 👉 документов, инструкций, FAQ

Где начинается реальная разница

1. Обновляемость Fine-tuning → нужно переобучать RAG → просто обновил базу 👉 если данные часто меняются — RAG выигрывает 2. Контроль над знаниями Fine-tuning → знания «размазаны» в весах RAG → ты точно знаешь источник 👉 RAG более контролируемый 3. Стоимость Fine-tuning → дорого (обучение + инференс) RAG → дешевле, но есть стоимость retrieval 4. Галлюцинации Fine-tuning → может уверенно «врать» RAG → опирается на документы 👉 RAG обычно надёжнее 5. Задержка (latency) Fine-tuning → быстрее RAG → медленнее (поиск + генерация)

Когда Fine-tuning лучше

👉 нужно изменить стиль / тон 👉 есть чёткие шаблоны ответов 👉 данные стабильны 👉 нужна минимальная задержка

Когда RAG лучше

👉 часто обновляемые данные 👉 большая база знаний 👉 требуется объяснимость 👉 важно снизить галлюцинации

Самый важный инсайт

Это не конкуренты. Это связка. На практике делают так: 👉 Fine-tuning учит модель, как отвечать 👉 RAG даёт модели, что отвечать

В одном предложении Fine-tuning меняет мозг модели, RAG даёт ей память.

Yandex B2B Tech объявила о старте грантовой программы для компаний, работающих с искусственным интеллектом. Инициатива ориентирована на команды, которые создают цифровые продукты для внешнего рынка и планируют внедрить в них ИИ. Участникам предлагают финансирование до 1 млн рублей — эти средства можно направить на разработку ИИ-агентов и приложений на базе Yandex AI Studio в течение шести месяцев. Помимо грантов, компании получают доступ к экспертной поддержке и помощи в продвижении. После окончания программы участникам предоставляется значительная скидка — до 70% — на использование платформы сроком до полугода. В числе первых проектов: — R77.ai, автоматизирующий проверку документов для банков и страховых с помощью машинного обучения — Noumy.ai, разрабатывающий инструменты для анализа кандидатов и их поведения на интервью — GO2AI, создающий ИИ-агентов для стратегического планирования и ускоряющий принятие решений с нескольких дней до часа Дополнительно участники смогут рассчитывать на софинансирование маркетинговых активностей и размещение своих продуктов в маркетплейсе Yandex Cloud.

🖥 Откопали интерактивный визуализатор алгоритмов — algorithm-visualizer Внутри 70+ алгоритмов на JavaScript, Java и C++. Так что просто запускаем их и смотрим за пошаговым выполнением кода. Полезно при обучении. ✖️ xCode Journal

Внедрить ИИ в бизнес — миссия выполнима? 💯 Узнайте ответ 9 апреля на закрытой встрече для предпринимателей и специалистов по машинному обучению. Selectel, GlowByte и Data Sapience проведут мероприятие для тех, кто хочет автоматизировать бизнес-процессы с помощью ИИ. В программе — дискуссии о машинном обучении, обсуждение реальных кейсов и рабочих задач с экспертами. А также ужин и полезные знакомства. Смотреть программу 💡 ⏰ 9 апреля (чт), 18:00 📍 Москва, м. Динамо Приходите, чтобы пообщаться со спикерами и получить экспертный разбор вашего кейса. ✅ Участие бесплатное, Дождитесь подтверждения заявки. Регистрируйтесь по ссылке: https://slc.tl/wt88c Реклама. АО "Селектел". erid:2W5zFJN4RKe

Большой шаг вперёд для синтеза речи Компания Qwen выложила в open source новую TTS-модель, которая умеет: 🔘 клонировать голоса 🔘 создавать новые 🔘 и даже управлять подачей речи через обычный текст Можно просто написать: «Говори бодро, но с лёгкой ноткой волнения» — и модель реально так и сделает И всё это без сложной настройки аудио и танцев с инженерией звука.

CEO Y Combinator выкатил свой сетап для Claude Code Это целая виртуальная команда из 10+ ролей, которая живёт внутри CLI. Теперь мы живем в реальности, где один человек гоняет 5–10 агентов параллельно: они пишут код, тесты, сами находят баги и фиксят их. У самого Гарри получается до 10–20к строк кода в день при работе «параллельно с CEO». По факту это превращает Claude в управляемый софтверный завод с ролями, процессами и гейтами. ✖️ xCode Journal

Управляй AI-сценариями со Сбером 🚀 Наша команда создает цифровую платформу, где ИИ — не просто помощник, а полноправный соавтор. Если тебе интересно экспериментировать с искусственным интеллектом и напрямую влиять на клиентский опыт — присоединяйся! Что будешь делать: ➖ управлять полным циклом AI-продуктов: от идеи и прототипа до масштабирования и финансовых метрик; ➖ проектировать сценарии для GigaChat, работать с поведением LLM-моделей; ➖ анализировать рынок, декомпозировать задачи и обеспечивать синергию между командами. Мы предлагаем: годовую премию, ДМС, обучение, современную технику и всё необходимое для комфорта и профессионального роста. Стань частью команды, где всё возможно!

🎁 ВАМ ПОДАРОК ⠀ … даже несколько ⠀ Что будет, если собрать лучшие каналы в сфере AI, IT и бизнеса в одну ПАПКУ? ⠀ ▪️Егор Никитин | event | нейросети ▪️Семён: Нейросети в каждый дом ▪️FOKIN MEDIA | Опыт в IT ▪️Руководитель. Ментор. Человек🤗 ⠀ Можно получить👇 ⠀ - пошаговый план, как построить карьеру в IT с нуля. - узнать о нейронках, которые не только быстро генерят контент. Но и ведут переписки, совершают продажи, приводят новых клиентов ⠀ А еще забрать подарки👇 ⠀ 🎁промт для создания качественных офферов 🎁 промт для анализа конкурентов 🎁 промт для оценки упаковки. ⠀ Нажимайте сюда ➡️ ПАПКА и забирайте подарки. ⠀ ❗️Забрать можно до 10 утра 24.03. Потом удалю пост