Всё про Алгоритмы и Структуры данных

AI для PHP-разработчиков. Часть 6: Bag of Words и TF–IDF – как компьютер превращает текст в математику Как компьютер превращает текст в числа и почему TF–IDF десятилетиями оставался основой поисковых систем. Разбираем Bag of Words, TF–IDF и поиск похожих документов на чистом PHP. Это шестая часть проекта. https://habr.com/ru/articles/1034874/ Алгоритмы и Структуры данных

Архитектура автоматической трансформации данных JSON и XML любой структуры унифицированным способом В современном IT ландшафте широко используются форматы представления данных JSON и XML, используемые в качестве своеобразного «общего языка», lingua franca для обмене информацией. (XML, конечно, сильно уступил натиску JSON, но еще кое‑где держится). Данная статья представит архитектуру интеграции данных иерархических форматов, позволяющую кардинально уменьшить трудоемкость процесса до практически полностью универсального пайплайна, обрабатывающего любые виды исходных документов вплоть до автоматического маппинга в табличные структуры данных. https://habr.com/ru/articles/1034884/ Алгоритмы и Структуры данных

Нейросети уже заменяют носителей языка. В Telegram быстро набирает популярность ИИ-девушка Chatty, с которой можно голосом практиковать живой разговорный английский и ещё 12 языков на основе новейших моделей искусственного интеллекта. Попробовать можно бесплатно. 🇬🇧 Английский: @ChattyTutorBot 🇩🇪 Немецкий: @ChattyGermanBot 🇪🇸 Испанский: @ChattySpanishBot 🇫🇷 Французский: @ChattyFrenchBot 🇮🇹 Итальянский: @ChattyItalianBot 🇵🇹 Португальский: @ChattyPortugueseBot 🇨🇳 Китайский: @ChattyChineseBot 🇯🇵 Японский: @ChattyJapaneseBot 🇰🇷 Корейский: @ChattyKoreanBot 🇸🇦 Арабский: @ChattyArabicBot 🇹🇷 Турецкий: @ChattyTurkishBot 🇷🇺 Русский: @ChattyRussianBot 🇵🇱 Польский: @ChattyPolandBot

Если if вас замедляют, откажитесь от них При работе с современными CPU устранение ошибочного предсказания ветвления — ключевой способ повышения скорости программ. Один из самых эффективных способов снижения количества ошибочных предсказаний — полное устранение ветвлений. Возьмём для примера простую задачу: итеративный обход массива и копирование всех чисел меньше 500 в новый массив. Прямолинейная реализация на C выглядит так: https://habr.com/ru/articles/1034566/ Алгоритмы и Структуры данных

Аналитика и бизнес с ИИ Уже в среду, 3 июня, Visiology проведёт бесплатный онлайн-эфир о том, как ИИ меняет работу с корпоративной аналитикой после Power BI. Поговорим о том, как быстрее получать ответы по данным, сокращать ручную отчётность и принимать решения без долгой подготовки дашбордов. В программе: — self-service аналитика и ИИ-ассистенты; — автоматизация отчётов и контроль ключевых метрик; — сценарии для бизнеса, IT-команд и аналитиков; — безопасность данных и развитие BI-инфраструктуры. Эфир будет полезен аналитикам, руководителям и IT-специалистам, которые хотят ускорить работу с данными и сделать аналитику понятнее для бизнеса. Мероприятие уже скоро! Участие бесплатное. Количество мест ограничено. Успейте зарегистрироваться! Узнать больше #реклама 16+ ai.visiology.com О рекламодателе

AI, которому запрещено быть правым Как мы встроили LLM в криптофорензику так, чтобы она могла управлять solver’ами, но не могла принять приватный ключ, nonce или recovery claim Не “AI взломал криптографию”, а “AI не имеет права быть источником криптографической истины” Когда AI подключают к сложной инженерной системе, обычно задают один и тот же вопрос:

может ли модель найти правильный ответ?

В криптографии этот вопрос почти всегда поставлен неправильно. Правильный вопрос другой:

можно ли встроить AI так, чтобы даже при ошибке он не мог принять опасное решение?

Это особенно важно в системах, которые работают с цифровыми подписями, nonce, решётками, HNP-маршрутами и candidate private key. Там нельзя сказать: “модель уверена, значит ключ найден”. Нельзя принять candidate_d по confidence score. Нельзя превратить красивое объяснение в cryptographic evidence. Нельзя позволить текстовому reasoning заменить проверку: https://habr.com/ru/articles/1034540/ Алгоритмы и Структуры данных

Нейросети, генетика и десктоп: как я построил микрофреймворк для обучения AI-агентов с неблокирующим GUI Все началось с любопытства к нейросетям и личным ассистентам. Однажды я даже объединил проект Django и телеграм бота в мини социальную сеть. Телеграм боту я прикрутил обвязку от Google Dialogflow. Это было моё первое общение с цифровым “разумом”. Второй прилив желаний что-то сделать пришел, когда стали появляться разные нейронные сети, которые не просто отвечали по списку ответов, а могли генерировать эти ответы. Это кажется таким нереальным, невозможным, и в тот же момент хочется постичь эту невозможность. Понять от корки до корки всю кухню нового цифрового разума. Это поражает и восхищает! Так что, после того как я закончил работать над CORMless и Mail Pigeon, мне захотелось чего-то, что можно не только запустить, но и увидеть, как нейронная сеть делает выбор. Чтобы нейросеть на моих глазах училась управлять луноходом или балансировать шест на тележке. И чтобы это выглядело не как утилита для гиков из командной строки (и такое у меня тоже есть), а как законченное приложение с кнопками, графиками и прогресс-барами. Так родился Neuro Evolution — микрофреймворк для параллельного обучения AI-агентов в средах Gymnasium с графическим интерфейсом на wxPython. https://habr.com/ru/articles/1030208/ Алгоритмы и Структуры данных

Записки специалиста по математической оптимизации Что есть база в математической оптимизации и моделировании бизнес процессов? Целевая функция, ограничения, алгоритмы решения — безусловно, но есть ещё модели. Насмотренность, портфель типовых моделей и умение распознавать их в задаче придают дополнительный импульс процессу решения сложных задач. Рассмотрим набор из восьми классических постановок, которые нашли применение в решении широкого спектра задач. Материал будет полезен специалистам по математической оптимизации. Управленцы и менеджеры могут найти актуальные сценарии применения математической оптимизации для своих задач. https://habr.com/ru/articles/1033818/ Алгоритмы и Структуры данных

ИИ обладает воображением Ученые говорят, что глаза дают человеку только 20% зрительной информации, остальное додумывает мозг. А может ли ИИ додумывать то, чего невидно? Нейросеть «скелетон» - одна из первых систем видеонаблюдения с ИИ, которая демонстрирует способности такого скрытого зрения. https://habr.com/ru/companies/speclab/articles/1034104/ Алгоритмы и Структуры данных

ИИ больше не про хобби — он становится обязательным навыком, чтобы оставаться востребованным на рынке труда. По оценкам экспертов, в ближайшее время до 80% вакансий будут требовать умения работать с нейросетями: — генерировать визуал, видео, тексты для любых ниш; — создавать реалистичный ИИ-контент; — автоматизировать рутину. Хорошие новости — освоить базовый минимум в создании контента с помощью ИИ можно всего за 3 дня. Вы сделаете ИИ своим рабочим инструментом и сократите рабочее время без потери качества. Переходите по ссылке и получайте персональный доступ к урокам и бонусным материалам. Реклама. Информация о рекламодателе по ссылкам в посте.

«Продай мне этот космолёт» или история любви к симуляторам. От космосима X-Tension до ActorModel/DoD/ECS архитектуры. Ч1

Хочу поделиться историей познания сложного мира производства и логистики, методологий и алгоритмов, а также большого количества обеспечивающих их инструментов - ИТ-систем и продуктов. История планируется из 2-х частей, возможно трех. При этом не претендуя на высокую точность и академичность, при этом логичность и правильность тех или иных утверждений - дополнительно была уточнена и проверена.

В первой части будет много теории, анализа, а также предыстория в виде увлечения из детства. Вторая часть про поиск решений на новых подходах и принципах.

https://habr.com/ru/articles/1028794/ Алгоритмы и Структуры данных

Как я превратила Obsidian в структурированную память для ИИ‑агентов Эта статья про NOUZ — локальный MCP‑сервер между Obsidian и ИИ‑агентом. Он превращает базу заметок в структурированную память: с уровнями, связями и сигналами дрейфа. Внутри — как я пришла к этой архитектуре и что она даёт агенту при работе с базой. https://habr.com/ru/articles/1033746/ Алгоритмы и Структуры данных

Освойте нейросети для контента за 3 дня ИИ это не про замену людей — это про усиление ваших умений и делегирование рутины. 80% контента уже делается с помощью ИИ и базовые навыки необходимы всем, кто работает с созданием контента. Регистрируйтесь на бесплатный мини-курс, где вы получите готовое портфолио и научитесь: — Писать продающие посты без «ИИ‑шаблонов»; — Делать стильные визуалы для брендов и соцсетей; — Проводить нейрофотосессии с реальными или вымышленными моделями; — Готовить презентации, креативные арты и постеры. Переходите по ссылке, чтобы получить доступ и бонусные материалы. Реклама. Информация о рекламодателе по ссылкам в посте.

Метрика EICS — ищем у трансформера причинное место У больших языковых моделей есть неприятное свойство: снаружи ответ может выглядеть одинаково уверенно и тогда, когда модель действительно «собрала» правильную причинную цепочку, и тогда, когда она просто выдала правдоподобный текст. Классические способы оценки неопределённости — энтропия распределения токенов, калибровка, ансамбли, conformal prediction — полезны, но смотрят на модель как на чёрный ящик. В этой статье я разберу другой подход: попробовать оценивать неопределённость не только по выходу модели, а по внутренней согласованности активной цепи трансформера. Речь пойдёт о метрике EICS — Effective Information Consistency Score. Идея в том, чтобы за один прямой проход получить численную оценку того, насколько найденная трансформерная цепь ведёт себя согласованно и насколько её макроуровневое описание действительно несёт интегрированную информацию. Статья основана на исследовательской работе об оценке неопределённости в трансформерных цепях на основе согласованности эффективной информации. Здесь я намеренно убрал академическую подачу, оставив интуицию, формулы, алгоритм и практические ограничения. https://habr.com/ru/articles/1033580/ Алгоритмы и Структуры данных

Семь раз посчитай — один раз урони: моделируем инциденты до деплоя Эта статья о том, как получить грубый расчёт деградации системы ещё до релиза. Без отказа от хаос-инжиниринга или мониторинга, а как шаг перед ними. Я расскажу о двух экспериментах, в которых топологическая модель автоматически извлекалась из распределённых трейсов, после чего на ней просчитывались сценарии отказов методом Монте-Карло. Результаты моделирования я затем сравнивал с реальными инъекциями отказов на стендах DeathStarBench и OpenTelemetry Demo. https://habr.com/ru/articles/1033570/ Алгоритмы и Структуры данных

Вариация на тему Рида-Соломона В одном из проектов столкнулся с задачей кодирования данных с целью восстановления потерянных пакетов. Поскольку обработка пакетов осуществлялась полностью на цифровом уровне без доступа к информации от аналогового приемника (hard-decision), то я решил использовать код Рида-Соломона (РС). Обработка пакетов осуществлялась на контроллере esp32-s3, который среди прочего имеет возможность работы с векторами. И необходимо иметь большую силу воли, чтобы не воспользоваться этой интересной возможностью для ускорения вычисления. Собственно эта краткая статья посвящена адаптации и модификации кода РС для возможности использования векторных операций на этом контроллере. https://habr.com/ru/articles/1033246/ Алгоритмы и Структуры данных

ИИ в аналитике — новый стандарт для бизнеса Сегодня компании, внедряющие ИИ в аналитику, получают решения и инсайты быстрее конкурентов. Те, кто остаётся на старых подходах, теряют скорость и преимущество. Аналитика с искусственным интеллектом становится новым стандартом рынка — и те, кто не объединит бизнес-аналитику и ИИ сейчас, рискуют остаться за бортом. 3 июня Visiology проведёт бесплатный онлайн-эфир о том, как ИИ ускоряет работу с данными, сокращает ручную отчётность и помогает получать ответы без долгой подготовки. Обсудим: — ИИ-помощников для аналитики и поиска закономерностей; — автоматизацию отчётности; — как быстрее находить ответы в данных; и многое другое. Эфир полезен аналитикам, ИТ-командам и руководителям. Количество мест ограничено — успейте зарегистрироваться. Узнать больше #реклама 16+ ai.visiology.com О рекламодателе

Конвейеры формирования изображений. Часть 2: Баланс белого и преобразование к стандартному наблюдателю С вами снова Егор Ершов, руководитель группы «Цветовая вычислительная фотография» в AIRI и заведующий сектором репродукции и синтеза цвета ИППИ РАН. Я продолжаю свой цикл статей по мотивам лекций по вычислительной фотографии, и в прошлый раз мы приступили к разбору типичных конвейеров формирования изображения, заложенных в наши профессиональные камеры и мобильные телефоны. Типичный пайплайн — от нажатия кнопки затвора до сохранения файла — довольно внушителен по количеству шагов, грубо его можно разделить на подготовку сырого RAW‑изображения и последующую обработку программными средствами. В предыдущей статье мы успели рассмотреть лишь первые два шага — регистрация света и дебайеринг, на этот раз поговорим про баланс белого и переход в пространство стандартного наблюдателя. https://habr.com/ru/companies/airi/articles/1032886/ Алгоритмы и Структуры данных

Модуль collections в Python: ваш чит-код для решения алгоритмических задач Если вы хоть раз пытались вкатиться в алгоритмы, решали задачки на LeetCode или готовились к собеседованиям, то наверняка ловили в лицо обидную ошибку Time Limit Exceeded (TLE). Вроде бы логика решения идеальная, на базовых тестах всё работает, но при отправке код отваливается по времени. Самая классическая причина такой боли у новичков — банальное list.pop(0). Когда вы пишете эту строчку, чтобы достать первый элемент из очереди, Python не просто забирает значение. Обычный список под капотом — это динамический массив. Удалив первый элемент, язык вынужден сдвинуть все оставшиеся элементы на одну позицию влево. Если в списке миллион элементов, это миллион операций ради одного удаления. Итог: скрытая сложность  там, где вы ожидали быстрый ответ, и проваленный тест. https://habr.com/ru/articles/1032834/ Алгоритмы и Структуры данных

Почему нейросети — это тупик? Новый взгляд на архитектуру искусственного интеллекта Мы живём во времена высоких технологий, ну, по крайней мере, мы так считаем. Но проблема в том, что эти технологии для большинства это так называемые «черные ящики». Спроси у друга, знает ли он, как устроена микроволновка? Скорее всего нет. И это проблема. Но сейчас не о микроволновках, я хочу сфокусировать ваше внимание на искусственном интеллекте. Я бы назвал это вершиной всех «чёрных ящиков», потому что его влияние в современном мире колоссально. К сожалению, авторы выпустили в мир монстра и до сих пор не поняли, насколько он опасен. Мы разберём механику работы ИИ (а точнее проблемы) и начнём выстраивать новый тип модели искуственного интеллекта с помощью выведенных мной систем: ОСНиУ (онтология согласовательной направленности и удержания) и РОА (рефлексивная онтологическая архитектура, второй порядок). Давайте углубимся в суть. Я не буду кидать вам сразу тонны текста своих работ, просто кратко изложу основы, если это вызовет отклик, я начну писать больше статей по этой теме, раскрывая глубину проработки. https://habr.com/ru/articles/1032820/ Алгоритмы и Структуры данных