Всё про Алгоритмы и Структуры данных

Математическое моделирование непосредственно в 1С Все началось с того, что мне довелось поучаствовать в увлекательном проекте. В рамках тендера необходимо было разработать прототип системы производственного планирования для парфюмерно-косметического предприятия. Прототип необходимо было реализовать в виде модуля для 1С:ERP. Технического задания не было. Вводные данные поступали малыми порциями по мере раскуривания ментатами. Задача из обыденного “давайте тут красиво отобразим доступные остатки” стремительно трансформировалась в “отрисуй-ка мне здесь детальное расписание загрузки оборудования с учетом этого, этого и, возможно, еще вот этого, но это не точно…”. https://habr.com/ru/articles/1023490/ Алгоритмы и Структуры данных

Насколько многомерным может быть многомерный точный индекс? Вот, например, Milvius(DiskANN) рассчитан на вектора размерности до 32 768, но это приближенный поиск. Но как насчёт поиска точного? В данной статье рассматривается работоспособность 1024 мерного индекса, хранилищем которого служит обычное B‑дерево (насколько вообще может быть обычным такое дерево). Используемый диск — вполне себе «железный» старый добрый WD Purple, оперативная память сознательно ограничена 8 Гб. Можно ли что‑то из этого выжать на рядовом десктопе за приемлемое время? https://habr.com/ru/articles/1036056/ Алгоритмы и Структуры данных

GLM-5.1 придумал для меня новый алгоритм Друзья, знаю, что интернет переполнен воспеванием AI, что вызывает у многих людей (особенно специалистов) фрустрацию, особенно когда речь заходит о написании кода на C/C++. Я не AI-проповедник – просто активный и ответственный программист, который пользуется AI-инструментами. Недавно я предложил AI (если быть точнее, opencode + GLM-5.1) придумать алгоритм для одной из задач, над которой я работаю, и он справился очень хорошо. Это не прорывной алгоритм, на котором я разбогатею, но он интересный: составленный из известных компонентов, но всё же новый. В статье расскажу: https://habr.com/ru/articles/1036118/ Алгоритмы и Структуры данных

«Продай мне этот космолёт» или история любви к симуляторам. От космосима X-Tension до ActorModel/DoD/ECS архитектуры. Ч2 Прежде чем начать эту часть, хочется извиниться перед теми, кто пробирался через первую. Зоопарк аббревиатур (S&OP, IBP, DDAE, MRP, DDMRP, MES, WMS, TMS и далее по списку) местами утомлял меня самого, не говоря уже о читателе. Во второй части зоопарка меньше, но появляются новые странные звери: ECS, DoD, Actor Model, barrier sync, archetype-based. Зато тут больше истории, чем теории. Структура примерно такая: сначала кратко напомню, что было в первой части и какие мысли я беру из нее. Потом как из работы с чужим кастомным симулятором у меня выросла идея «хочу тоже что-нибудь собрать». Дальше история про акторную модель (actor model): почему она показалась подходящей, и на чём я споткнулся. Потом про ECS как часть DoD, с признанием, что подсказку нашел при помощи ИИ. И в конце три варианта архитектуры, которые из этого получились и почему гибридная кажется наиболее интересной. Финальная третья часть истории будет про прикладные кейсы и пересечения с играми. Но обо всем по порядку. https://habr.com/ru/articles/1035768/ Алгоритмы и Структуры данных

Как управлять эволюционным поиском? На примере конечных автоматов Есть задачи, в которых мы понимаем, чего нужно добиться, но не можем описать путь к цели. И когда способ достижения цели либо слишком сложен, либо совсем неизвестен, решение находится в процессе проб и улучшений. Так работает эволюция. У нее нет конкретного плана по дизайну организма, но есть цель: существо должно быть достаточно приспособленным к среде, чтобы выжить.  А люди для решения такого рода задач придумали эволюционные алгоритмы. С помощью них можно генерировать разные варианты, тестировать их в одинаковых условиях и оставлять те, что становятся лучше по выбранным критериям. https://habr.com/ru/articles/1035788/ Алгоритмы и Структуры данных

Отечественный суперкартридж для старушки Mega Drive и его киллер-фичи На создание очередной статьи раз в восемь лет меня сподвигла данная публикация, где автор о сложном и хайповом рассказал настолько доступно и информативно, что я подумал, почему бы и нет, я тоже хочу написать о чем-то интересном! Ко мне в руки попал профессиональный флеш-картридж InviteDRIVE v6 MAX с поддержкой игр Sega Genesis / Mega Drive / Sega CD / Master System / 32x, разработанный широко известным в узких кругах ретрогеймеров Масяней из Новосибирска. Главной, но не уникальной особенностью картриджа является возможность играть во всю библиотеку Sega CD игр различных регионов на оригинальной 16-ти битной консоли фирмы Сега не имея самого дорогостоящего и капризного CD аддона. https://habr.com/ru/articles/1035910/ Алгоритмы и Структуры данных

Освойте нейросети для контента за 3 дня ИИ это не про замену людей — это про усиление ваших умений и делегирование рутины. 80% контента уже делается с помощью ИИ и базовые навыки необходимы всем, кто работает с созданием контента. Регистрируйтесь на бесплатный мини-курс, где вы получите готовое портфолио и научитесь: — Писать продающие посты без «ИИ‑шаблонов»; — Делать стильные визуалы для брендов и соцсетей; — Проводить нейрофотосессии с реальными или вымышленными моделями; — Готовить презентации, креативные арты и постеры. Переходите по ссылке, чтобы получить доступ и бонусные материалы. Реклама. Информация о рекламодателе по ссылкам в посте.

Квантизация больших языковых моделей: FP32, BF16, INT8, NF4 и QLoRA Большие языковые модели требуют огромных объёмов памяти. Например, модель с 8 миллиардами параметров в формате FP16 занимает 24–27 ГБ памяти только для инференса (веса, кэш ключей-значений, буферы). Для полного обучения той же модели нужно уже 84–128 ГБ памяти. Даже с такими методами, как checkpointing активаций или offloading на CPU, требования остаются высокими, особенно для моделей с 70 миллиардами параметров. Квантизация помогает снизить требования к памяти, уменьшая точность представления весов модели без значительной потери качества. В этой статье разберём основные форматы числовой точности, используемые в квантизации LLM, их особенности и ограничения. Также рассмотрим NF4 — ключевую инновацию из статьи про QLoRA, и разберём, зачем нужны такие методы, как блочная квантизация, двойная квантизация и квантизация по квантилям. https://habr.com/ru/articles/1035626/ Алгоритмы и Структуры данных

Шахматные программы II. Отсечения Самой важной частью шахматной программы, которая вносит основной вклад в силу игры, является направленный перебор. А самой главной частью направленного перебора являются отсечения и сокращения наиболее неперспективных ходов. Отбрасывая наименее важные ветви, программа вкладывает ресурсы машины в наиболее перспективные варианты. Чем больше отсекает программа, тем дальше она углубляется по дереву вариантов. И чем глубже она считает, тем сильнее играет. https://habr.com/ru/articles/1033414/ Алгоритмы и Структуры данных

Шахматные программы I. Вступление Наверное многие из вас помнят шахматные состязания людей против компьютеров, которые проводились еще относительно недавно. Обычная картина для того времени - на сцене, за шахматным столом, под светом софитов и вспышками фотокамер в своих креслах расположились два человека. Один из них - шахматный гроссмейстер, сосредоточенно смотрит на доску. Второй же - оператор, часто поглядывает на экран монитора, который установлен рядом. Многочисленные зрители затаив дыхание наблюдают за этим действом со стороны. https://habr.com/ru/articles/1031836/ Алгоритмы и Структуры данных

AI для PHP-разработчиков. Часть 6: Bag of Words и TF–IDF – как компьютер превращает текст в математику Как компьютер превращает текст в числа и почему TF–IDF десятилетиями оставался основой поисковых систем. Разбираем Bag of Words, TF–IDF и поиск похожих документов на чистом PHP. Это шестая часть проекта. https://habr.com/ru/articles/1034874/ Алгоритмы и Структуры данных

Архитектура автоматической трансформации данных JSON и XML любой структуры унифицированным способом В современном IT ландшафте широко используются форматы представления данных JSON и XML, используемые в качестве своеобразного «общего языка», lingua franca для обмене информацией. (XML, конечно, сильно уступил натиску JSON, но еще кое‑где держится). Данная статья представит архитектуру интеграции данных иерархических форматов, позволяющую кардинально уменьшить трудоемкость процесса до практически полностью универсального пайплайна, обрабатывающего любые виды исходных документов вплоть до автоматического маппинга в табличные структуры данных. https://habr.com/ru/articles/1034884/ Алгоритмы и Структуры данных

Нейросети уже заменяют носителей языка. В Telegram быстро набирает популярность ИИ-девушка Chatty, с которой можно голосом практиковать живой разговорный английский и ещё 12 языков на основе новейших моделей искусственного интеллекта. Попробовать можно бесплатно. 🇬🇧 Английский: @ChattyTutorBot 🇩🇪 Немецкий: @ChattyGermanBot 🇪🇸 Испанский: @ChattySpanishBot 🇫🇷 Французский: @ChattyFrenchBot 🇮🇹 Итальянский: @ChattyItalianBot 🇵🇹 Португальский: @ChattyPortugueseBot 🇨🇳 Китайский: @ChattyChineseBot 🇯🇵 Японский: @ChattyJapaneseBot 🇰🇷 Корейский: @ChattyKoreanBot 🇸🇦 Арабский: @ChattyArabicBot 🇹🇷 Турецкий: @ChattyTurkishBot 🇷🇺 Русский: @ChattyRussianBot 🇵🇱 Польский: @ChattyPolandBot

Если if вас замедляют, откажитесь от них При работе с современными CPU устранение ошибочного предсказания ветвления — ключевой способ повышения скорости программ. Один из самых эффективных способов снижения количества ошибочных предсказаний — полное устранение ветвлений. Возьмём для примера простую задачу: итеративный обход массива и копирование всех чисел меньше 500 в новый массив. Прямолинейная реализация на C выглядит так: https://habr.com/ru/articles/1034566/ Алгоритмы и Структуры данных

Аналитика и бизнес с ИИ Уже в среду, 3 июня, Visiology проведёт бесплатный онлайн-эфир о том, как ИИ меняет работу с корпоративной аналитикой после Power BI. Поговорим о том, как быстрее получать ответы по данным, сокращать ручную отчётность и принимать решения без долгой подготовки дашбордов. В программе: — self-service аналитика и ИИ-ассистенты; — автоматизация отчётов и контроль ключевых метрик; — сценарии для бизнеса, IT-команд и аналитиков; — безопасность данных и развитие BI-инфраструктуры. Эфир будет полезен аналитикам, руководителям и IT-специалистам, которые хотят ускорить работу с данными и сделать аналитику понятнее для бизнеса. Мероприятие уже скоро! Участие бесплатное. Количество мест ограничено. Успейте зарегистрироваться! Узнать больше #реклама 16+ ai.visiology.com О рекламодателе

AI, которому запрещено быть правым Как мы встроили LLM в криптофорензику так, чтобы она могла управлять solver’ами, но не могла принять приватный ключ, nonce или recovery claim Не “AI взломал криптографию”, а “AI не имеет права быть источником криптографической истины” Когда AI подключают к сложной инженерной системе, обычно задают один и тот же вопрос:

может ли модель найти правильный ответ?

В криптографии этот вопрос почти всегда поставлен неправильно. Правильный вопрос другой:

можно ли встроить AI так, чтобы даже при ошибке он не мог принять опасное решение?

Это особенно важно в системах, которые работают с цифровыми подписями, nonce, решётками, HNP-маршрутами и candidate private key. Там нельзя сказать: “модель уверена, значит ключ найден”. Нельзя принять candidate_d по confidence score. Нельзя превратить красивое объяснение в cryptographic evidence. Нельзя позволить текстовому reasoning заменить проверку: https://habr.com/ru/articles/1034540/ Алгоритмы и Структуры данных

Нейросети, генетика и десктоп: как я построил микрофреймворк для обучения AI-агентов с неблокирующим GUI Все началось с любопытства к нейросетям и личным ассистентам. Однажды я даже объединил проект Django и телеграм бота в мини социальную сеть. Телеграм боту я прикрутил обвязку от Google Dialogflow. Это было моё первое общение с цифровым “разумом”. Второй прилив желаний что-то сделать пришел, когда стали появляться разные нейронные сети, которые не просто отвечали по списку ответов, а могли генерировать эти ответы. Это кажется таким нереальным, невозможным, и в тот же момент хочется постичь эту невозможность. Понять от корки до корки всю кухню нового цифрового разума. Это поражает и восхищает! Так что, после того как я закончил работать над CORMless и Mail Pigeon, мне захотелось чего-то, что можно не только запустить, но и увидеть, как нейронная сеть делает выбор. Чтобы нейросеть на моих глазах училась управлять луноходом или балансировать шест на тележке. И чтобы это выглядело не как утилита для гиков из командной строки (и такое у меня тоже есть), а как законченное приложение с кнопками, графиками и прогресс-барами. Так родился Neuro Evolution — микрофреймворк для параллельного обучения AI-агентов в средах Gymnasium с графическим интерфейсом на wxPython. https://habr.com/ru/articles/1030208/ Алгоритмы и Структуры данных

Записки специалиста по математической оптимизации Что есть база в математической оптимизации и моделировании бизнес процессов? Целевая функция, ограничения, алгоритмы решения — безусловно, но есть ещё модели. Насмотренность, портфель типовых моделей и умение распознавать их в задаче придают дополнительный импульс процессу решения сложных задач. Рассмотрим набор из восьми классических постановок, которые нашли применение в решении широкого спектра задач. Материал будет полезен специалистам по математической оптимизации. Управленцы и менеджеры могут найти актуальные сценарии применения математической оптимизации для своих задач. https://habr.com/ru/articles/1033818/ Алгоритмы и Структуры данных

ИИ обладает воображением Ученые говорят, что глаза дают человеку только 20% зрительной информации, остальное додумывает мозг. А может ли ИИ додумывать то, чего невидно? Нейросеть «скелетон» - одна из первых систем видеонаблюдения с ИИ, которая демонстрирует способности такого скрытого зрения. https://habr.com/ru/companies/speclab/articles/1034104/ Алгоритмы и Структуры данных

ИИ больше не про хобби — он становится обязательным навыком, чтобы оставаться востребованным на рынке труда. По оценкам экспертов, в ближайшее время до 80% вакансий будут требовать умения работать с нейросетями: — генерировать визуал, видео, тексты для любых ниш; — создавать реалистичный ИИ-контент; — автоматизировать рутину. Хорошие новости — освоить базовый минимум в создании контента с помощью ИИ можно всего за 3 дня. Вы сделаете ИИ своим рабочим инструментом и сократите рабочее время без потери качества. Переходите по ссылке и получайте персональный доступ к урокам и бонусным материалам. Реклама. Информация о рекламодателе по ссылкам в посте.