Всё про Алгоритмы и Структуры данных

Квантизация больших языковых моделей: FP32, BF16, INT8, NF4 и QLoRA Большие языковые модели требуют огромных объёмов памяти. Например, модель с 8 миллиардами параметров в формате FP16 занимает 24–27 ГБ памяти только для инференса (веса, кэш ключей-значений, буферы). Для полного обучения той же модели нужно уже 84–128 ГБ памяти. Даже с такими методами, как checkpointing активаций или offloading на CPU, требования остаются высокими, особенно для моделей с 70 миллиардами параметров. Квантизация помогает снизить требования к памяти, уменьшая точность представления весов модели без значительной потери качества. В этой статье разберём основные форматы числовой точности, используемые в квантизации LLM, их особенности и ограничения. Также рассмотрим NF4 — ключевую инновацию из статьи про QLoRA, и разберём, зачем нужны такие методы, как блочная квантизация, двойная квантизация и квантизация по квантилям. https://habr.com/ru/articles/1035626/ Алгоритмы и Структуры данных

Шахматные программы II. Отсечения Самой важной частью шахматной программы, которая вносит основной вклад в силу игры, является направленный перебор. А самой главной частью направленного перебора являются отсечения и сокращения наиболее неперспективных ходов. Отбрасывая наименее важные ветви, программа вкладывает ресурсы машины в наиболее перспективные варианты. Чем больше отсекает программа, тем дальше она углубляется по дереву вариантов. И чем глубже она считает, тем сильнее играет. https://habr.com/ru/articles/1033414/ Алгоритмы и Структуры данных

Шахматные программы I. Вступление Наверное многие из вас помнят шахматные состязания людей против компьютеров, которые проводились еще относительно недавно. Обычная картина для того времени - на сцене, за шахматным столом, под светом софитов и вспышками фотокамер в своих креслах расположились два человека. Один из них - шахматный гроссмейстер, сосредоточенно смотрит на доску. Второй же - оператор, часто поглядывает на экран монитора, который установлен рядом. Многочисленные зрители затаив дыхание наблюдают за этим действом со стороны. https://habr.com/ru/articles/1031836/ Алгоритмы и Структуры данных

AI для PHP-разработчиков. Часть 6: Bag of Words и TF–IDF – как компьютер превращает текст в математику Как компьютер превращает текст в числа и почему TF–IDF десятилетиями оставался основой поисковых систем. Разбираем Bag of Words, TF–IDF и поиск похожих документов на чистом PHP. Это шестая часть проекта. https://habr.com/ru/articles/1034874/ Алгоритмы и Структуры данных

Архитектура автоматической трансформации данных JSON и XML любой структуры унифицированным способом В современном IT ландшафте широко используются форматы представления данных JSON и XML, используемые в качестве своеобразного «общего языка», lingua franca для обмене информацией. (XML, конечно, сильно уступил натиску JSON, но еще кое‑где держится). Данная статья представит архитектуру интеграции данных иерархических форматов, позволяющую кардинально уменьшить трудоемкость процесса до практически полностью универсального пайплайна, обрабатывающего любые виды исходных документов вплоть до автоматического маппинга в табличные структуры данных. https://habr.com/ru/articles/1034884/ Алгоритмы и Структуры данных

Нейросети уже заменяют носителей языка. В Telegram быстро набирает популярность ИИ-девушка Chatty, с которой можно голосом практиковать живой разговорный английский и ещё 12 языков на основе новейших моделей искусственного интеллекта. Попробовать можно бесплатно. 🇬🇧 Английский: @ChattyTutorBot 🇩🇪 Немецкий: @ChattyGermanBot 🇪🇸 Испанский: @ChattySpanishBot 🇫🇷 Французский: @ChattyFrenchBot 🇮🇹 Итальянский: @ChattyItalianBot 🇵🇹 Португальский: @ChattyPortugueseBot 🇨🇳 Китайский: @ChattyChineseBot 🇯🇵 Японский: @ChattyJapaneseBot 🇰🇷 Корейский: @ChattyKoreanBot 🇸🇦 Арабский: @ChattyArabicBot 🇹🇷 Турецкий: @ChattyTurkishBot 🇷🇺 Русский: @ChattyRussianBot 🇵🇱 Польский: @ChattyPolandBot

Если if вас замедляют, откажитесь от них При работе с современными CPU устранение ошибочного предсказания ветвления — ключевой способ повышения скорости программ. Один из самых эффективных способов снижения количества ошибочных предсказаний — полное устранение ветвлений. Возьмём для примера простую задачу: итеративный обход массива и копирование всех чисел меньше 500 в новый массив. Прямолинейная реализация на C выглядит так: https://habr.com/ru/articles/1034566/ Алгоритмы и Структуры данных

Аналитика и бизнес с ИИ Уже в среду, 3 июня, Visiology проведёт бесплатный онлайн-эфир о том, как ИИ меняет работу с корпоративной аналитикой после Power BI. Поговорим о том, как быстрее получать ответы по данным, сокращать ручную отчётность и принимать решения без долгой подготовки дашбордов. В программе: — self-service аналитика и ИИ-ассистенты; — автоматизация отчётов и контроль ключевых метрик; — сценарии для бизнеса, IT-команд и аналитиков; — безопасность данных и развитие BI-инфраструктуры. Эфир будет полезен аналитикам, руководителям и IT-специалистам, которые хотят ускорить работу с данными и сделать аналитику понятнее для бизнеса. Мероприятие уже скоро! Участие бесплатное. Количество мест ограничено. Успейте зарегистрироваться! Узнать больше #реклама 16+ ai.visiology.com О рекламодателе

AI, которому запрещено быть правым Как мы встроили LLM в криптофорензику так, чтобы она могла управлять solver’ами, но не могла принять приватный ключ, nonce или recovery claim Не “AI взломал криптографию”, а “AI не имеет права быть источником криптографической истины” Когда AI подключают к сложной инженерной системе, обычно задают один и тот же вопрос:

может ли модель найти правильный ответ?

В криптографии этот вопрос почти всегда поставлен неправильно. Правильный вопрос другой:

можно ли встроить AI так, чтобы даже при ошибке он не мог принять опасное решение?

Это особенно важно в системах, которые работают с цифровыми подписями, nonce, решётками, HNP-маршрутами и candidate private key. Там нельзя сказать: “модель уверена, значит ключ найден”. Нельзя принять candidate_d по confidence score. Нельзя превратить красивое объяснение в cryptographic evidence. Нельзя позволить текстовому reasoning заменить проверку: https://habr.com/ru/articles/1034540/ Алгоритмы и Структуры данных

Нейросети, генетика и десктоп: как я построил микрофреймворк для обучения AI-агентов с неблокирующим GUI Все началось с любопытства к нейросетям и личным ассистентам. Однажды я даже объединил проект Django и телеграм бота в мини социальную сеть. Телеграм боту я прикрутил обвязку от Google Dialogflow. Это было моё первое общение с цифровым “разумом”. Второй прилив желаний что-то сделать пришел, когда стали появляться разные нейронные сети, которые не просто отвечали по списку ответов, а могли генерировать эти ответы. Это кажется таким нереальным, невозможным, и в тот же момент хочется постичь эту невозможность. Понять от корки до корки всю кухню нового цифрового разума. Это поражает и восхищает! Так что, после того как я закончил работать над CORMless и Mail Pigeon, мне захотелось чего-то, что можно не только запустить, но и увидеть, как нейронная сеть делает выбор. Чтобы нейросеть на моих глазах училась управлять луноходом или балансировать шест на тележке. И чтобы это выглядело не как утилита для гиков из командной строки (и такое у меня тоже есть), а как законченное приложение с кнопками, графиками и прогресс-барами. Так родился Neuro Evolution — микрофреймворк для параллельного обучения AI-агентов в средах Gymnasium с графическим интерфейсом на wxPython. https://habr.com/ru/articles/1030208/ Алгоритмы и Структуры данных

Записки специалиста по математической оптимизации Что есть база в математической оптимизации и моделировании бизнес процессов? Целевая функция, ограничения, алгоритмы решения — безусловно, но есть ещё модели. Насмотренность, портфель типовых моделей и умение распознавать их в задаче придают дополнительный импульс процессу решения сложных задач. Рассмотрим набор из восьми классических постановок, которые нашли применение в решении широкого спектра задач. Материал будет полезен специалистам по математической оптимизации. Управленцы и менеджеры могут найти актуальные сценарии применения математической оптимизации для своих задач. https://habr.com/ru/articles/1033818/ Алгоритмы и Структуры данных

ИИ обладает воображением Ученые говорят, что глаза дают человеку только 20% зрительной информации, остальное додумывает мозг. А может ли ИИ додумывать то, чего невидно? Нейросеть «скелетон» - одна из первых систем видеонаблюдения с ИИ, которая демонстрирует способности такого скрытого зрения. https://habr.com/ru/companies/speclab/articles/1034104/ Алгоритмы и Структуры данных

ИИ больше не про хобби — он становится обязательным навыком, чтобы оставаться востребованным на рынке труда. По оценкам экспертов, в ближайшее время до 80% вакансий будут требовать умения работать с нейросетями: — генерировать визуал, видео, тексты для любых ниш; — создавать реалистичный ИИ-контент; — автоматизировать рутину. Хорошие новости — освоить базовый минимум в создании контента с помощью ИИ можно всего за 3 дня. Вы сделаете ИИ своим рабочим инструментом и сократите рабочее время без потери качества. Переходите по ссылке и получайте персональный доступ к урокам и бонусным материалам. Реклама. Информация о рекламодателе по ссылкам в посте.

«Продай мне этот космолёт» или история любви к симуляторам. От космосима X-Tension до ActorModel/DoD/ECS архитектуры. Ч1

Хочу поделиться историей познания сложного мира производства и логистики, методологий и алгоритмов, а также большого количества обеспечивающих их инструментов - ИТ-систем и продуктов. История планируется из 2-х частей, возможно трех. При этом не претендуя на высокую точность и академичность, при этом логичность и правильность тех или иных утверждений - дополнительно была уточнена и проверена.

В первой части будет много теории, анализа, а также предыстория в виде увлечения из детства. Вторая часть про поиск решений на новых подходах и принципах.

https://habr.com/ru/articles/1028794/ Алгоритмы и Структуры данных

Как я превратила Obsidian в структурированную память для ИИ‑агентов Эта статья про NOUZ — локальный MCP‑сервер между Obsidian и ИИ‑агентом. Он превращает базу заметок в структурированную память: с уровнями, связями и сигналами дрейфа. Внутри — как я пришла к этой архитектуре и что она даёт агенту при работе с базой. https://habr.com/ru/articles/1033746/ Алгоритмы и Структуры данных

Освойте нейросети для контента за 3 дня ИИ это не про замену людей — это про усиление ваших умений и делегирование рутины. 80% контента уже делается с помощью ИИ и базовые навыки необходимы всем, кто работает с созданием контента. Регистрируйтесь на бесплатный мини-курс, где вы получите готовое портфолио и научитесь: — Писать продающие посты без «ИИ‑шаблонов»; — Делать стильные визуалы для брендов и соцсетей; — Проводить нейрофотосессии с реальными или вымышленными моделями; — Готовить презентации, креативные арты и постеры. Переходите по ссылке, чтобы получить доступ и бонусные материалы. Реклама. Информация о рекламодателе по ссылкам в посте.

Метрика EICS — ищем у трансформера причинное место У больших языковых моделей есть неприятное свойство: снаружи ответ может выглядеть одинаково уверенно и тогда, когда модель действительно «собрала» правильную причинную цепочку, и тогда, когда она просто выдала правдоподобный текст. Классические способы оценки неопределённости — энтропия распределения токенов, калибровка, ансамбли, conformal prediction — полезны, но смотрят на модель как на чёрный ящик. В этой статье я разберу другой подход: попробовать оценивать неопределённость не только по выходу модели, а по внутренней согласованности активной цепи трансформера. Речь пойдёт о метрике EICS — Effective Information Consistency Score. Идея в том, чтобы за один прямой проход получить численную оценку того, насколько найденная трансформерная цепь ведёт себя согласованно и насколько её макроуровневое описание действительно несёт интегрированную информацию. Статья основана на исследовательской работе об оценке неопределённости в трансформерных цепях на основе согласованности эффективной информации. Здесь я намеренно убрал академическую подачу, оставив интуицию, формулы, алгоритм и практические ограничения. https://habr.com/ru/articles/1033580/ Алгоритмы и Структуры данных

Семь раз посчитай — один раз урони: моделируем инциденты до деплоя Эта статья о том, как получить грубый расчёт деградации системы ещё до релиза. Без отказа от хаос-инжиниринга или мониторинга, а как шаг перед ними. Я расскажу о двух экспериментах, в которых топологическая модель автоматически извлекалась из распределённых трейсов, после чего на ней просчитывались сценарии отказов методом Монте-Карло. Результаты моделирования я затем сравнивал с реальными инъекциями отказов на стендах DeathStarBench и OpenTelemetry Demo. https://habr.com/ru/articles/1033570/ Алгоритмы и Структуры данных

Вариация на тему Рида-Соломона В одном из проектов столкнулся с задачей кодирования данных с целью восстановления потерянных пакетов. Поскольку обработка пакетов осуществлялась полностью на цифровом уровне без доступа к информации от аналогового приемника (hard-decision), то я решил использовать код Рида-Соломона (РС). Обработка пакетов осуществлялась на контроллере esp32-s3, который среди прочего имеет возможность работы с векторами. И необходимо иметь большую силу воли, чтобы не воспользоваться этой интересной возможностью для ускорения вычисления. Собственно эта краткая статья посвящена адаптации и модификации кода РС для возможности использования векторных операций на этом контроллере. https://habr.com/ru/articles/1033246/ Алгоритмы и Структуры данных

ИИ в аналитике — новый стандарт для бизнеса Сегодня компании, внедряющие ИИ в аналитику, получают решения и инсайты быстрее конкурентов. Те, кто остаётся на старых подходах, теряют скорость и преимущество. Аналитика с искусственным интеллектом становится новым стандартом рынка — и те, кто не объединит бизнес-аналитику и ИИ сейчас, рискуют остаться за бортом. 3 июня Visiology проведёт бесплатный онлайн-эфир о том, как ИИ ускоряет работу с данными, сокращает ручную отчётность и помогает получать ответы без долгой подготовки. Обсудим: — ИИ-помощников для аналитики и поиска закономерностей; — автоматизацию отчётности; — как быстрее находить ответы в данных; и многое другое. Эфир полезен аналитикам, ИТ-командам и руководителям. Количество мест ограничено — успейте зарегистрироваться. Узнать больше #реклама 16+ ai.visiology.com О рекламодателе