Data Science: Алгоритмы и Структуры данных

Когда несколько пикселей решают всё: One Pixel атака и способы защиты от неё Удивительно, но факт: несколько изменений в изображении может полностью изменить вывод нейросети, что ломает заложенную разработчиком логику. В данной статье мы не просто подсветим факт существования One Pixel атаки, но и комплексно разберём архитектурные факторы, которые влияют на устойчивость CV-систем к данному семейству атак. Представим ситуацию: мы обучили нейросеть, которая предсказывает наличие макияжа (мало ли какие задачи перед нами могут встать). Модель в проде, всё прекрасно работает. Наша нейросеть уверенно определяет наличие макияжа на левой фотографии. Но справа мы видим те же глаза, ту же помаду, но эти три пикселя... и вот уже модель утверждает, что никакого макияжа нет. Ломается логика нашей CV-системы, и всё идёт не по плану... https://habr.com/ru/articles/932934/ Алгоритмы и Структуры данных

Часть 1. Как всё началось — страх потеряться в небе и POISK решений Весной 2024 года я — курсант летной школы по классу PPL (частный пилот) с несколькими десятками часов налёта, осознал то, чего старается избегать каждый лётчик: потеряться в пространстве без визуальных ориентиров, например оказался под плотной облачностью без привычного GPS‑сопровождения. Спутниковые сигналы в России с 2022г заблокированы по известным причинам. До этого момента я воспринимал навигатор в телефоне как «дополнительный инструмент». Но когда на панели вдруг погас зелёный индикатор спутников, по спине пробежал холодок: как отработать возврат в аэродромную зону в «белом» небе без визуальных ориентиров? Известно, что инерциальные навигационные системы (ИНС) могут определять местоположение, ориентацию и скорость объекта без внешних источников. Внутри них наработки десятилетий — набор ускорителей и гироскопов, расположенных ортогонально, и вычислитель, который интегрирует измеренные ускорения и угловые скорости. ИНС — это, говоря простыми словами, «супер‑мертвый пеленг»: она интегрирует собственные ускорения и вращения, чтобы определить, куда и на сколько мы сместились. Достоинство такой системы — полная автономность, независимость от спутников и наземных радиомаяков. Именно это и нужно в эпоху блокировок сигналов, когда GPS может исчезнуть в самый неподходящий момент. К стати — не только в воздухе, но в любой среде — будь‑то тоща воды или космическое пространство. https://habr.com/ru/articles/932726/ Алгоритмы и Структуры данных

Хотите стать Геймдизайнером и получить 3 миллиона рублей на свою первую игру? «Нам нужны люди, которые умеют придумывать игры, а не просто в них играть!» — так звучал главный запрос от студий в этом году. Рынок трещит по швам: вакансий сотни, специалистов — единицы. Именно поэтому мы по запросу индустрии запустили бесплатный мини-курс по геймдизайну. Да-да, бесплатно. Потому что это — инвестиция в тех, кто войдёт в геймдев сразу с козырей. Тех, кто пройдёт мини-курс, мы не просто учим — мы закидываем плюшками: — Прямой эфир с опытным продюсером игр — Персональная консультация по карьере — Бонус: конференция по нейросетям для всех, кто досмотрит хотя бы 1 урок — Сертификат и скидка 10 000 ₽ на следующий шаг в профессии — И шанс забрать 3 млн рублей от студии Gamebox Начните с теста, получите доступ к урокам, и давайте уже делать свою игру. Пока другие «ещё подумают».

Находим более качественные решения при помощи boost Каждый C++-разработчик хотя бы слышал о Boost – это, пожалуй, наиболее распространенный набор внешних библиотек, используемый в мире C++. Истоки большинства стандартных библиотек восходят к Boost, поскольку многие разработчики Boost также входят в состав комитета по стандартам C++ и именно они определяют, в каком направлении будет развиваться язык – поэтому можете считать Boost своеобразным дорожным указателем. Возвращаясь к заголовку этой статьи - 'Boost' содержит много популярного функционала, вспомогательных библиотек, так, что, если вы столкнулись с какой-нибудь распространенной проблемой – первым делом обращайтесь к Boost, так как велики шансы, что там для вас найдется готовое решение. Скажу еще несколько слов о синергии между Boost и стандартом C++. Большинство библиотек std – в частности, контейнеры, умные указатели, поддержка многопоточности, регулярные выражения, поддержка файловой системы, кортежи, варианты и многие другие – как правило, портированы из Boost. Этот тренд продолжится, но, поскольку в Boost такое множество разноцелевых библиотек, сейчас не для всех из них найдется место в стандарте, так как они слишком специализированные, зависят от контекста или просто не настолько популярны, чтобы переносить их в сам язык. В этой статье я постараюсь рассказать о некотором подобном функционале, сосредоточившись на тех возможностях, которые пока не входят в стандарт. Я покажу вам некоторые вещи, которые нахожу полезными – и вам, надеюсь, они тоже понравятся. https://habr.com/ru/companies/piter/articles/650945/ Алгоритмы и Структуры данных

Полезно для преподавателей алгоритмов Т-Образование запускает бесплатный онлайн-курс «Алгоритмы и структуры данных». Пригодится тем, кто хочет сделать занятия в вузах еще интереснее. Здесь можно: — Повысить квалификацию. — Узнать, как алгоритмы применяют в реальных финтех-задачах, и делиться примерами со студентами. — Получить готовые материалы для работы и доступ к образовательной платформе. — Познакомиться с коллегами из других вузов в общем чате. — Совмещать обучение с работой — заниматься раз в неделю по вечерам в течение одного семестра. Курс основан на опыте и успешных практиках экспертов. Он создан, чтобы повысить качество образования вместе с преподавателями. Подобное обучение уже проводилось для студентов — выпускники курса побеждают на олимпиадах и устраиваются в крупные бигтех-компании. Успейте подать заявку и пройти отбор до 16 августа

Практический CQRS и Event Sourcing на Go // Проблемы: // 1. История изменений теряется // 2. Конфликты при конкурентных обновлениях (или использование блокировок) func UpdateOrderStatus(orderID string, status Status) error { return db.Exec("UPDATE orders SET status=? WHERE id=?", status, orderID) } Решение: CQRS и Event Sourcing https://habr.com/ru/articles/932510/ Алгоритмы и Структуры данных

Три слагаемых AGI Как-то часто стали встречаться статьи нейро-скептиков: людей, которые всю эту движуху вокруг ИИ считают хайпом, пузырем и чем-то явно переоцененным. Скептицизм - это естественно, полезно, и эволюционно-оправдано для человека. Более того, я и сам большой скептик: на все смотрю через призму инженерного снобизма, проф-деформаций и врожденной недоверчивости. И мне, также, трудно самому себе признаться, что весь мой, более чем 20-ти летний опыт в IT - скоро можно будет выбросить на помойку. Я тоже цепляюсь за те логические соломинки, которые мне позволяют надеяться на то, что я останусь в строю. https://habr.com/ru/articles/932180/ Алгоритмы и Структуры данных

Когда одни связи объясняют другие: QAP-корреляция и QAP-регрессия Предположим, у нас есть набор людей как-то связанных дружескими и родственными связями. (Пусть для простоты это пока будут люди). Также есть данные об их бизнес-связях. Предположим, оба графа взвешенные, т.е. известна сила связи или вес рёбер между всеми узлами сетей. (Например, сила дружеских связей измеряется средней частотой встреч в месяц за последние пару лет, а сила бизнес-связей - суммарным стоимостным объемом попарных сделок или операций за тот же период). Может возникнуть гипотеза, что бизнес связи этих людей (их наличие и сила) объясняются их дружескими и родственными связями. Больше одних - больше и других. https://habr.com/ru/articles/932094/ Алгоритмы и Структуры данных

Программистов заменит ИИ? Краткий ответ — нет. Но нейросети уже пишут простые проекты, а рынок становится жёстче. Зарплаты стагнируют, джуны без офферов, сокращения — обычное дело. Сейчас самое время залетать в Кибербез. Эта область только набирает обороты. Спрос растёт, но конкуренции пока почти нет. Ловите годные каналы, которые помогут ворваться в новое направление: 👍 ZeroDay — Подробные уроки по безопасности с нуля, эксплуатации уязвимостей, инструментам и свежие новости. 👨‍💻 Серверная Админа — Большое количество уроков, статей, книг и гайдов по устройству и настройке компьютерных сетей. База которую должен знать каждый

Защита от невидимого шума: как ломать и чинить мультимодальные модели Всем привет! Меня зовут Евгений Пищик, и сегодня я хочу поделиться с вами опытом разработки метода переноса нейросетевых атак, над которым я работал в рамках мастерской по сервисам и платформам ИИ в Инженерно‑математической школе НИУ ВШЭ и VK. С каждым апдейтом нейронных сетей растёт и количество исследований, посвящённых их уязвимостям. Когда от работы моделей зависят кредитные решения, автопилот на шоссе или диагноз в кардиологии, цена ошибки стремится к неприлично высокой отметке. Неудивительно, что вопросы безопасности — от поиска уязвимостей до проектирования методов защиты — сегодня выведены в первую линию приоритетов. Параллельно эволюционируют мультимодальные модели, которые используют сразу несколько моделей‑компонент для разных модальностей, тем самым открывая больше возможностей для атак. Логичный след — атаки, мигрировавшие из классического одномодального мира, которые используют особенности мультимодальной структуры моделей. Сегодня в статье разберём, как перенести атаку с визуального энкодера на целую мультимодальную систему. https://habr.com/ru/companies/vk/articles/930714/ Алгоритмы и Структуры данных

Роботы не покупают эклеры Вам знакомо такое выражение: 1 доллар - тому кто придумал, 2 - тому кто сделал и 10 - тому кто продал? Думаю, каждый прочувствовал на себе все "прелести" капитализма и у каждого есть мнение на этот счет. Реалистичный, взрослый взгляд на все это состоит в понимании простой истины: мир - это рынок, а идеи и их реализация - все это убытки до тех пор пока нет продаж. Но на самом деле продажи - это просто наука и как любая наука она обладает внутренними, очень глубокими проблемами и очень сильными противоречиями. Обо всем этом и пойдет речь в данной статье. https://habr.com/ru/articles/931924/ Алгоритмы и Структуры данных

Большой обзор стратегий решения для Wordle и подобных игр В этой статье описаны стратегии и алгоритмы поиска решения для игры Wordle, оценена их практическая эффективность, приведены оптимальные слова для начала игры. Как идеи для обсуждения будут озвучены размышления по связанной теме. https://habr.com/ru/articles/650943/ Алгоритмы и Структуры данных

Я — кефир, меня любят взрослые и дети, и я заберу их здоровье через 10 лет Меня напичкали животным клеем для импотенции, кадмием для рака и проблем с почками, Е216 для язвы и закупорки сосудов, завернули в красивую упаковку и поставили на полку в магазине. Таких товаров как я — сотни, весь ваш холодильник забит ими, и постепенно они вас разрушают. Благо, теперь есть канал, который спасает от отравы в магазинах — Контрольная закупка В нём каждый день публикуют списки опасных продуктов, которые лучше избегать, а также находят натуральные им на замену. Подписывайтесь, сохраните своё здоровье: @zаkupka

Градиентный поиск коэффициентов квадратической регрессии Мое основное увлечение - это аэрокосмос. И "космические" задачи - выведение полезных грузов на орбиту, возврат с орбиты через атмосферу являются функциями от целого набора параметров. К примеру, управление РН на первой ступени даже в двухмерной (без учета изменения азимута и dog-leg маневра)описывается по меньшей мере через 5 переменных: https://habr.com/ru/articles/651147/ Алгоритмы и Структуры данных

Proof-of-Union — алгоритм консенсуса в блокчейн системах базируемый на сотрудничестве узлов В настоящее время существует огромное количество консенсус алгоритмов для блокчейн систем, каждый из которых имеет свои преимущества и недостатки присущие только ему, либо целому классу сходных алгоритмов. Так или иначе, в данное время лидирует две концепции консенсуса - основанные на майнинге (PoW) [1] и форжинге (PoS) [2], которые в свою очередь представляют конкурентную и последовательную модели генерации блоков непосредственно. Такое разделение либо предполагает крайне большое расходование материальных ресурсов, либо представляет собой необходимость комбинации с другими методами консенсуса [3], что приводит к сложности реализации, а следовательно и к проблеме доказуемой безопасности конечного решения [4, с.319]. Альтернативной моделью конкуренции и последовательности может являться алгоритм объединения узлов (PoU), решающий общую задачу сообща и главным преимуществом которого является простота реализации, сродни PoW и быстрота генерации блоков, эквивалентная PoS. https://habr.com/ru/articles/651187/ Алгоритмы и Структуры данных

📘 На Stepik вышел курс — «Алгоритмы и структуры данных: полный курс» Пишете код, но алгоритмическая база хромает? Этот курс системно «разложит по полочкам» всё, что спрашивают на собеседованиях и олимпиадах. 🔍 Что вы получите: • Чёткое понимание асимтотик, умение оценивать код «на глаз» • 100 + задач и 6 проектов с ручным ревью — от массивов до динамической программы • Полный набор структур: кучи, деревья поиска, хеш‑таблицы, графы, сегмент‑деревья и AVL / RB / Treap • Прикладные техники: кратчайшие пути, динамика по состояниям, оптимизация памяти и времени 🎓 Сертификат Stepik по завершении — добавьте в резюме или профиль LinkedIn 🚀 Прокачайте алгоритмическое мышление уже сегодня и получите скидку 25 % (действует 48 ч). 👉 Пройти курс на Stepik

Компрессия битового потока Расскажу про нашу разработку, которая изменит подход к обработке данных. Мы разработали новый математический алгоритм обработки данных и программный продукт на его базе (кодек), позволяющий работать со сжатием битовых потоков любого формата (статические/динамические) – то есть, кодек позволяет проводить более глубокое сжатие уже существующих файлов (видео, изображения, архивы и т.д.), так и осуществлять сжатие исходных «сырых» данных. Заложенная в алгоритме обработка представляет собой механизм квантования с применением многоцентричной развертки и алфавита изображения. Такой подход кардинально отличается от всех существующих на сегодня вариантов сжатия данных, базирующихся на принципе энтропийного сжатия. https://habr.com/ru/articles/651197/ Алгоритмы и Структуры данных

Бесплатный мини-курс: освой базу тестирования за 72 часа Ты выполнишь 3 реальных задачи из жизни Junior QA — поиски багов вручную, и с помощью ПО. Получишь проекты в портфолио, значимые для будущего работодателя. Как это работает? 1. Регистрируешься — это абсолютно бесплатно. 2. В течение трёх дней проходишь уроки от эксперта в удобное для себя время. 3. Получаешь консультацию по профессии, обучению и рынку. 4. Понимаешь, подходит ли тебе тестирование, как начать карьеру и как выгодно выделиться среди новичков. Получи 4 гайда + 3 проекта в портфолио за 3 дня — успевай до 30 июля! 👉 Записаться бесплатно (осталось 12 мест).

Граф знаний LinkedIn’s Economic Graph и его Star2Vec-эмбеддинги Здесь я представляю поверхностный обзор статьи, вышедшей в уже далёком (по научным меркам) 2019-м году: "Representation Learning in Heterogeneous Professional Social Networks with Ambiguous Social Connections". Т. к. это лишь поверхностный обзор, от читателя требуются следующие познания: Skip-gram и его адаптация под графы (word2veс, LINE, DeepWalk); общие понятия о графах знаний. В указанной статье частично представлена структура графа LinkedIn’s Economic Graph и относительно подробно описан метод обучения эмбеддингов Star2Vec. К сожалению, исходного кода авторы не предоставили, поэтому в статье есть несколько непонятных моментов (лично для меня), на которые я укажу ниже. https://habr.com/ru/articles/651283/ Алгоритмы и Структуры данных

Онлайн-магистратура с IT специальностями от Яндекса Совместно с ИТМО, МИФИ, МФТИ. Онлайн-магистратура с актуальными программами и гибким графиком обучения. Получите высокооплачиваемую IT профессию, официальный диплом и практические знания. Господдержка оплаты. Совмещение с работой! Подать заявку #реклама 16+ practicum.yandex.ru О рекламодателе