Data Science: Алгоритмы и Структуры данных

ИИ-агенты стали еще доступнее OpenAI резко обвалила цены на API: модель GPT-5.6 Luna подешевела сразу на 80%. Это важное событие, ведь именно она идеально подходит для массовой автоматизации повседневных задач. При этом многие думают, что автономные агенты нужны только разработчикам. Но на самом деле их возможности давно вышли за пределы кодинга: агенты могут в фоне вести веб-серфинг, парсить и структурировать информацию, автоматически заполнять таблицы и закрывать всю рутину по всей сети. Недавно я уже рассказывал, как задействовал агентов для полной зачистки своего инфополя в Telegram. Они отсеяли всю воду и выделили действительно сильные ресурсы, поэтому рекомендую подписаться на эту готовую подборку.

Сейчас самое время углубиться в AI | IT, ведь эти технологии доступны абсолютно каждому — и с точки зрения ценников, и с точки зрения базы знаний.

Подписка в 1 клик: https://t.me/addlist/_XgWPZPtZkNhZDYy

Pet-project: мини-библиотека по линейной алгебре Однажды меня попросили рассказать о своем опыте разработки математических алгоритмов. Так как коммерческий опыт у меня был преимущественно в веб-разработке, то рассказать я мог только об университетском опыте, либо реализовать собственный pet-проект.Я выбрал тему линейной алгебры. Существовало два варианта реализации проекта: с интерфейсом на Qt либо в виде решения, которое можно использовать в backend-разработке. Я выбрал второй вариант и реализовал небольшую библиотеку. В ходе разработки мне пришлось ответить на следующие вопросы: https://habr.com/ru/articles/1051974/ Алгоритмы и Структуры данных

Программисты рисуют и травят: от штриховой векторизации к офортам Меллана В этом году у меня прошло три персональных выставки портретов и картин, нарисованных роботами по моим алгоритмам. Во‑первых, это очень тяжело, а, во‑вторых, наверно, пора уже позаботиться о приоритете авторов алгоритма. Статья на Хабре, по уверениям нейросетей, на этом пути необходимый этап. Мне 72 года. Сижу на даче, никого не трогаю. Зимой программирую алгоритмы, летом конструирую станочки. Как‑то после решения быстро сделать очередной станок типа «полярграф» (два моторчика, рисующих на стене), неожиданно задержался на этой теме на полгода. Пришлось конструировать заново ему гондолы (хороших не нашел) и писать для него весь софт (тут было всё ещё хуже), а добившись от него точности 0.3мм(!), обнаружил, что рисовать‑то нечего. Вот так я и вышел на тему рисования на плоттере, которой и занимаюсь уже несколько лет. https://habr.com/ru/articles/1051962/ Алгоритмы и Структуры данных

Секреты поиска решений управляемого данными Если Вы безоговорочный поклонник искусственного интеллекта (Ai) в нынешней его трактовке и не приемлете другие решения, то я бы не рекомендовал читать и комментировать эту статью. Если Вы занимаетесь приложениями для банковской сферы, или для торговли, или создаёте чат-боты общего назначения, то эта статья, скорее всего, будет Вам не интересна. Разработчики игр, так же не найдут в этой статье ничего полезного. Но, возможно, вы участвуете в проектах связанных с автоматизацией проектирования в машиностроении или создаёте экспертные системы медицинского назначения и тесно взаимодействуете с предметными специалистами (инженерами, технологами, врачами). В таком случае идеи и решения из этой статьи могут пригодиться в Вашей работе. Если же вдруг Вы связаны с преподаванием прикладных дисциплин не связанных с информационными технологиями, то подходы к формализации знаний и созданию прикладных приложений с минимальным привлечением ИТ-специалистов могут Вас заинтересовать и оказаться ещё одним инструментом закрепления знаний наряду с курсовым и дипломным проектированием. https://habr.com/ru/articles/1051928/ Алгоритмы и Структуры данных

Как двое договариваются о секрете, крича на всю площадь: алгоритм Диффи-Хеллмана без формул Представьте себе площадь: людную, шумную, и на ней стоят двое, назовем их Алиса и Коля. Им нужно договориться о пароле, но шептаться друг с другом нельзя. А еще вокруг толпа, и в толпе стоит Ева, которая записывает каждое слово. Никаких записок, никаких встреч за кулисами, только крик через всю площадь. Звучит как безнадежная задача. Все, что Алиса крикнет Коле, услышит и Ева. Любая информация, которая дойдет до Коли, дойдет и до нее. Кажется, что общий секрет в таких условиях невозможен в принципе. А теперь плохая новость для нашей интуиции: именно это сейчас происходит на вашем устройстве. Когда ваш браузер открывал эту страницу, он буквально прокричал несколько чисел через весь интернет, провайдер их видел, любой узел по дороге их видел, и тем не менее у вас с сервером Хабра появился такой общий секретный ключ, который не знает никто из них. Это и есть протокол Диффи-Хеллмана, придуманный в 1976 году, и он до сих пор в той или иной форме сидит почти в каждом TLS-соединении https://habr.com/ru/companies/selectel/articles/1050536/ Алгоритмы и Структуры данных

Как мы ускоряли диффузионный декодер TTS В пайплайне перевода видео в Яндекс Браузере скорость работы в синтезе речи долго оставалась узким местом: одно видео — это сотни фраз, каждая генерируется отдельно, и любая сэкономленная миллисекунда становится заметной в масштабах сервиса. Внутри TTS работает каскад из трёх компонентов: языковая модель предсказывает аудиотокены по тексту, диффузионный декодер восстанавливает мел-спектрограмму из латентов, а вокодер превращает её в звуковую волну. Долгое время самой тяжёлой была языковая модель, но после её оптимизации на первый план вышел декодер латентов — его forward pass запускается на каждом шаге семплинга диффузии, а шагов — десятки. Именно его мы и взялись ускорять. Меня зовут Цырен-Доржо Цыбиков, я ML-инженер команды TTS в Яндексе и ментор проекта Даниила Маслова, студента бакалавриата кафедры АД ФПМИ МФТИ и ШАД. В рамках проектного курса мы запустили отдельную исследовательскую ветку по оптимизации диффузионного декодера латентов в TTS-пайплайне перевода видео. https://habr.com/ru/companies/yandex/articles/1051334/ Алгоритмы и Структуры данных

Мы не выравниваем железо — мы выравниваем реальность: как превратить любой лазерный гравер в прецизионный фотоплоттер Если вы хоть раз пытались сделать печатную плату сложнее «мигалки на светодиоде», вы знаете цену «геометрического ада». ЛУТ (лазерно-утюжная технология) — это лотерея. Классический фотометод требует идеального шаблона, а профессиональный фотоплоттер стоит как подержанный автомобиль. Казалось бы, решение на поверхности: взять доступный китайский лазерный гравер за $100 и вперёд. Но тут начинается новый «ад»: оси изначально кривые, реальный шаг моторов живёт своей жизнью, а заготовка почти всегда лежит на столе с перекосом в пару градусов. Малейшее отклонение — и прецизионный Gerber превращается в бесполезный кусок текстолита. Я решил эту проблему иначе. Зачем часами юстировать механику, если можно переложить всё на математику и нейросети? Представляю LPP-Laser — флагманское направление открытой модульной платформы LPP (Linear Path Platform). Система не требует от станка совершенства. Она просто «натягивает» ваш проект на реальность. https://habr.com/ru/articles/1051624/ Алгоритмы и Структуры данных

📣 Разместите рекламу в этом канале — её увидят Аудитория Telegram остаётся активной, что бы ни говорили. Индекс читаемости это подтверждает: охваты каналов по тематикам держатся, люди продолжают читать. Реклама в Telegram — это законно: ФАС в 2026 году официально подтвердил, что она разрешена. 👉 Заказать размещение в этом канале можно через Telega.in — с маркировкой и закрывающими документами, за пару минут. Форматы и цены — по ссылке.

HyperLogLog: как найти уникальные значения в терабайте данных, не храня их Представим задачу: хайлоад-сервис гонит поток данных — логи, IP-адреса, ID пользователей, миллиарды записей в сутки. Ваша задача — посчитать количество уникальных посетителей за неделю. Первым решением может показаться завести HashSet и кидать туда ключи, а в конце посмотреть размер. Решение неплохое, но когда речь заходит о миллиардах записей — память будет слабым местом. Один IP-адрес (4 байта) как ключ в HashSet потянет за собой накладные расходы на ноды, указатели и хеши. На практике один элемент сжирает не меньше 50–100 байт. Поток в миллиард уникальных записей потребует под сотню гигабайт оперативной памяти. Это дорого, а если инстансов десять — то просто нереально. Но существует алгоритм, который способен решить эту задачу примерно в 1.5 килобайта памяти с погрешностью около 2%? Без хранения самих данных и гигантских кластеров. Достаточно одного прохода по потоку и пары битовых трюков — именно так и работает HyperLogLog, алгоритм родом из математической статистики, который перевернул подход к подсчёту уникальности в Big Data. https://habr.com/ru/companies/timeweb/articles/1046345/ Алгоритмы и Структуры данных

Ненормальное марковское программирование: бег по правилам Продолжение. Начало здесь. Предыдущая часть. Репозиторий с кодом - на гитхабе. (Сокращения: НАМ - нормальные алгорифмы Маркова, КТ - компайл-тайм, РТ - рантайм). Следующая неприятность, которая нас ждёт, - это циклы, которые в КТ вовсе не циклы. Нам надо как-то научиться бегать по правилам, из которых состоит НАМ-программа. https://habr.com/ru/articles/1049258/ Алгоритмы и Структуры данных

Конволюция и деконволюция — работаем с сигналами под нефтяным соусом Свёртка и восстановление сигнала (далее — конволюция и деконволюция) в инженерии вещи известные и давно не новые. Здесь, на Хабре, есть замечательные статьи, которые отлично объясняют, что это и как используется, на примере компьютерных технологий. Например, всеми любимые свёрточные нейронные сети (CNN) используют как раз конволюцию как механизм в своей основе (Сверточная нейронная сеть, часть 1: структура, топология, функции активации и обучающее множество). Или в другой работе используют деконволюцию для восстановления изображения (Восстановление расфокусированных и смазанных изображений) . Тема этой статьи та же — работа с сигналами, но здесь я хочу разобрать применение данного подхода в контексте конкретной инженерии: нефтегазового дела, а точнее — работы с гидродинамикой нефтяного пласта. Казалось бы, широкому читателю это вещь бесполезная, и тем не менее мне кажется, что такой материал может быть полезен по нескольким причинам: https://habr.com/ru/articles/1049244/ Алгоритмы и Структуры данных

КИТАЙ vs ЗАПАД: Kimi K3 vs Claude 16 июля вышла новая китайская модель Kimi K3. Она абсолютно бесплатная, держит 1 000 000 токенов контекста и работает на уровне топовых закрытых моделей.

Помните как я тестировал Claude для своих подписок? Тоже самое решил сделать через Kimi.

В Telegram через настройки выгрузил архив своих подписок и загрузил файл в нейросеть. Модель выбрала каналы, которые чаще всего пересекались в «похожих», и на их основе собрала базу. Около недели читал найденные ресурсы — авторы действительно интересные, без глупого копипаста. Каждый канал в подборке получился уникальным и экспертным. Подписывайтесь, каждый найдет для себя что-то полезное

• ИИ: фишки нейрогенерации, библиотеки промптов и вайб-кодинг. • Автоматизация: как внедрять нейросети в бизнес-процессы и экономить время. • IT и карьера: как развивать свои проекты, расти в грейде и выходить на топовые офферы.

Сохраняйте подборку себе или попробуйте выгрузить свои данные и прогнать их через Kimi K3 Подписка в 1 клик: 👉 https://t.me/addlist/7ZtK-j24E6ljNmQy

Как я нашел новую панграмму (разнобуквицу) Ну само собой получилось, что мне захотелось составить что‑то из всех букв. Оказалось, что классика вроде «Съешь ещё этих мягких французских булок» не подходит — в моём наборе каждая буква была только один раз. А те панграммы, где буквы не повторяются (можно найти, например, у Лебедева в «Ководстве») — «Эй, жлоб! Где туз? Прячь юных съёмщиц в шкаф.» или «— Любя, съешь щипцы, — вздохнёт мэр, — кайф жгуч» — они, скажем так, на любителя. Слишком много восклицаний, междометий и прямой речи. Хотелось чего-то более пристойное и связное. И я тут вспомнил видео Мэтта Паркера про оптимизацию его кода. Действительно, можно попробовать найти панграмму с помощью bitwise логики — тогда перебор комбинаций будет быстрым. Допустим, у нас есть слово «кайф». Буква «к» — это 11-й бит, «а» — 0-й, «й» — 10-й, «ф» — 21-й. В числе биты этих разрядов будут выставлены в единицу. Слово «жгуч» — своё число, и так для каждого слова из словаря. При этом анаграммы будут друг другу соответствовать: «адрес» и «среда» будут с одним числом, что приемлемо, для поставленной цели эти слова взаимозаменяемы. https://habr.com/ru/articles/1049056/ Алгоритмы и Структуры данных

Сказ о том, как нейросеть занялась reward hacking прямо у меня на кухне Я хотел просто пожарить кесадилью. В холодильнике лежали зеленые оливки (солено-кислые), сулугуни и фарш, а на полке — консервированная кукуруза. И вот стою я над сковородкой и думаю: а оливки с кукурузой вообще сочетаются? А сулугуни не пересолит блюдо вместе с оливками? Сколько чего вообще класть? В любой другой ситуации я бы загуглил рецепт. Но не тут-то было, я же великий комбинатор оптимизатор, и у меня в голове сразу всплыло: «это же задача оптимизации». Тем же вечером у меня был ноутбук с обученной нейросетью вместо ужина. Рассказываю, как дошел до жизни такой, и как из этого внезапно получился реально вкусный рецепт. https://habr.com/ru/companies/selectel/articles/1048264/ Алгоритмы и Структуры данных

Почему мы до сих пор неправильно пишем физические движки и 3D-графику Стоит открыть исходники любого современного игрового движка – неважно, это C++-рендер, сделанный на коленке, или какая-нибудь гигантская экосистема вроде Unity или Unreal Engine – вы первым делом натыкаетесь на одни и те же знакомые сущности. Все вокруг живет в Vector3: координаты, направления движения, точки столкновений. Каждая частица указывает, куда она смотрит, с помощью Quaternion. А если требуется что-то покруче – переносить и одновременно крутить объект, то Matrix4x4. Это уже как стандарт де-факто: кто пробовал крутить объекты руками, тот точно переписывал код с этими структурами. Ещё конечно же отдельно существуют лучи, плоскости, сферы, bounding boxes, а между ними тянутся километры функций вроде dot(), cross(), normalize(), lookAt(), inverse(), project() и бесконечных преобразований типов. Привыкаешь к этому быстро. Нам кажется совершенно естественным тасовать эти типы между собой – уж слишком давно так делается по всей индустрии. Но стоит лишь чуток задуматься, и начинает прорезаться легкий когнитивный диссонанс: выходит, вся наша графика построена на наборах несовместимых между собой математических запчастей. Для одного действия нам нужен один тип данных, для второго – другой, а пересчитать простое столкновение луча со сферой или плоскостью без пятого велосипеда никак не получается. Вроде бы всё работает и даже неплохо работает… Но ощущение конструктора из костылей не отпускает. И самое интересное заключается в том, что так было не обязательно. https://habr.com/ru/companies/timeweb/articles/1036176/ Алгоритмы и Структуры данных

Сказ о том, как нейросеть занялась reward hacking прямо у меня на кухне Я хотел просто пожарить кесадилью. В холодильнике лежали зеленые оливки (солено-кислые), сулугуни и фарш, а на полке — консервированная кукуруза. И вот стою я над сковородкой и думаю: а оливки с кукурузой вообще сочетаются? А сулугуни не пересолит блюдо вместе с оливками? Сколько чего вообще класть? В любой другой ситуации я бы загуглил рецепт. Но не тут-то было, я же великий комбинатор оптимизатор, и у меня в голове сразу всплыло: «это же задача оптимизации». Тем же вечером у меня был ноутбук с обученной нейросетью вместо ужина. Рассказываю, как дошел до жизни такой, и как из этого внезапно получился реально вкусный рецепт. https://habr.com/ru/companies/selectel/articles/1048264/ Алгоритмы и Структуры данных

Почему мы до сих пор неправильно пишем физические движки и 3D-графику Стоит открыть исходники любого современного игрового движка – неважно, это C++-рендер, сделанный на коленке, или какая-нибудь гигантская экосистема вроде Unity или Unreal Engine – вы первым делом натыкаетесь на одни и те же знакомые сущности. Все вокруг живет в Vector3: координаты, направления движения, точки столкновений. Каждая частица указывает, куда она смотрит, с помощью Quaternion. А если требуется что-то покруче – переносить и одновременно крутить объект, то Matrix4x4. Это уже как стандарт де-факто: кто пробовал крутить объекты руками, тот точно переписывал код с этими структурами. Ещё конечно же отдельно существуют лучи, плоскости, сферы, bounding boxes, а между ними тянутся километры функций вроде dot(), cross(), normalize(), lookAt(), inverse(), project() и бесконечных преобразований типов. https://habr.com/ru/companies/timeweb/articles/1036176/ Алгоритмы и Структуры данных

📣Стол компьютерный с подъемным механизмом Цена: ~15000₽ Рейтинг: 4.8😀 Отзывов: 1.431 💬 🖱 Заказать Компьютерный стол с электрической регулировкой высоты позволит работать сидя или стоя одним нажатием кнопки. Просторная столешница 150×78 см легко вместит несколько мониторов, ноутбук и всю периферию. Отличный выбор для программистов и удаленщиков, которые проводят за компьютером весь день и хотят сделать рабочее место более комфортным и эргономичным. #стол #регулировка Находки Программиста

Сингапур, наука и никакой жвачки: как двое петербургских студентов съездили на крупнейшую конференцию по ИИ Если вы когда-нибудь задумывались, как попасть на топовую международную конференцию, будучи ещё студентом, — эта статья для вас. Её герои не просто купили билеты и поехали послушать доклады, а прошли весь путь с нуля: от подачи заявки и нервного ожидания рецензий до живого общения с ведущими учёными на постерной сессии. О том, как устроен отбор на AAAI, зачем нужен rebuttal и что на самом деле происходит за кулисами главной ИИ-конференции, они рассказали в статье. https://habr.com/ru/articles/1048734/ Алгоритмы и Структуры данных

🔥 Нашли сервис, который позволяет за пару минут собрать под себя полноценный курс по любой теме — Gurufy. 🔅 Это не просто чат как ChatGPT, а целая экосистема, которая позволяет разобраться в вопросах чуть сложнее, чем «какая сегодня погода». 🔅 По запросу создаётся план курса, а в каждой статье — иллюстрации, интерактивные виджеты, отдельный ИИ-ассистент и задания для закрепления материала. 🔥 Попробовать можно бесплатно. Ссылка на сервис → https://gurufy.ru