Data Science: Алгоритмы и Структуры данных

Комбинационная логика на SystemVerilog Данная статья посвящена разработке аппаратуры на SystemVerilog со стороны человека, который сам только начинает углубленно в этом разбираться. Рассчитана она на то, чтобы другим новичкам было проще сориентироваться в незнакомой среде, поэтому некоторые аспекты здесь будет рассмотрены довольно поверхностно и упрощенно. В качестве примера используется одна из моих лабораторных работ в университете. https://habr.com/ru/articles/855866/ Алгоритмы и Структуры данных

Полиномиальный алгоритм проверки чисел на простоту: тест Агравала-Каяла-Саксены Одной из важнейших задач в теории чисел является проверка числа на простоту. То есть по заданному числу эффективно определить, является оно простым или составным. Алгоритмы, решающие эту задачу (их также называют тестами простоты), известны с древних времён, например решето Эратосфена. Но алгоритма, имеющего полиномиальную сложность, долгое время известно не было. В 2002 году индийскими математиками Агравалом, Кайялом и Саксеной в работе «PRIMES is in P» был впервые предложен алгоритм проверки простоты чисел, который одновременно является полиномиальным, универсальным, детерминированным и безусловным. До этого были известны алгоритмы, которые обладали максимум тремя из четырёх свойств. https://habr.com/ru/articles/855792/ Алгоритмы и Структуры данных

3750 дней разработки AI или почему боты всё ещё не захватили покер Идёт именно этот день в разработке. В этот раз хочу затронуть феномен покера, для которого создается AI и поделиться наблюдениями, которые помогут ответить на вопрос из названия. Покер (Техасский безлимитный холдем) – это очень глубокая игра, которая представляет собой модель бизнес-отношений разных субъектов по определённым метрикам, единым для всех участников процесса. Эти метрики позволяют человеку, принимающему решение, понимать, когда инвестиции в “свое внутреннее состояние” могут быть более или менее успешными. Стратегии строятся каждым игроком, исходя из меняющегося контекста, по заранее определенным правилам. Особенность именно безлимитной версии покера в том, что вследствие большого рычага оценки стоимости текущего контекста, число возможных вариаций действий в дереве принятия решений становится огромным в разрезе одной-единственной покерной раздачи. Следующая важная особенность покера в том, что существуют автономные круги торгов. На каждом круге контекст подаётся накопительным итогом, что дает возможность (в ситуациях строго один на один) построить сбалансированную стратегию. В теории, не только один на один, но!.. Проблема сбалансированных стратегий для трёх и более игроков в том, что при “слабой” игре одного из игроков, тот, кто быстрее сможет построить контр стратегию по отношению к “слабому”, то даже при около нулевой игре к третьему, будет выигрывать больше того, что мог бы выиграть по сбалансированной стратегии. Чем больше людей в банке, тем тяжелее становиться играть оптимально, исходя только лишь из правил игры. И вот тут начинается интерпретация анализа полученных данных от предыдущих игр с этими соперниками. Также важно всё, что было до них. Оценка важности каждого отдельного раздела игры, с попыткой (очень часто успешной) его взвесить, с приемлемой функцией забывания давно полученных знаний. Всё это человек делает автоматически, подстраивая веса у себя в голове, в любой ситуации за столом. При условии работы с хадом, для достижения большой выгоды в отдельно выбранной раздаче, а также более или менее дисциплинированном подходе. Базовый, а иногда и продвинутый эксплойт, у человека идёт, что называется, из коробки. https://habr.com/ru/articles/855766/ Алгоритмы и Структуры данных

О генерации скобочных последовательностей Эта коротенькая заметка посвящена симпатичной задачке генерации в лексикографическом порядке всех правильных скобочных последовательностей. Её нередко включают в список задач для подготовки к собеседованию (например, здесь). По просторам инета гуляет следующее решение: https://habr.com/ru/articles/742894/ Алгоритмы и Структуры данных

Ситуация: Зарабатываешь от 4500р в день, не выходя из дома, а люди тебе не верят Такой день сурка у каждого подписчика канала Реальный фриланс, ведь они каждый день зарабатывают на халявных подработках из этого канала: — Перевести голосовое в текст - 3000р — Написать отзыв про ресторан - 1500р — Смотреть Shorts и Reels - 1000р Зарабатывать по 50-70 тысяч в месяц, просто тыкая в телефон — спасибо Телеграму и админам, они вручную находят все самые жирные вакансии. Подними первую пятерку уже сегодня 👉 Реальный фриланс

Удивительные клеточные автоматы: клетки-киллеры, BSFK[L] Рассматриваемая модификация предполагает три состояния клеток – мёртвые, живые и деструктивные, и добавляет два числовых параметра в наше правило – F и K. Переходы говорят, что если у живой клетки есть как минимум K деструктивных соседей («киллеров»), она умирает. Если это условие не выполняется, то, как и в прошлых конфигурациях, происходит проверка на вхождение в множество S, но с тем отличием, что при отсутствии вхождения такая клетка не умирает, а сама превращается в киллера. Киллеры же умирают, если у них есть как минимум один живой сосед. К условию зарождения жизни на пустых (мёртвых) клетках по числу живых соседей B добавляется «и количество соседей-киллеров не больше F». Модификация в данном виде несовместима с поколениями, однако может быть адаптирована и под них. Но сегодня мы не будем затрагивать ничего из перечисленного. https://habr.com/ru/companies/timeweb/articles/745088/ Алгоритмы и Структуры данных

Поиск минимальной стоимости корректировки массива Имея массив целых положительных чисел, нужно заменить каждый элемент так, чтобы разница между соседними элементами массива была меньше или равна заданному целевому значению (target). Нам необходимо минимизировать стоимость корректировки, то есть суммарную разницу между новыми и старыми значениями. По сути, нам нужно минимизировать ∑|A[i] — Anew[i]|, где 0 ≤ i ≤ n-1, n — размер A[], а Anew[] — массив с разницей между соседними элементами меньше или равной заданной. Предположим, что все элементы массива меньше константы M = 100. https://habr.com/ru/companies/otus/articles/746512/ Алгоритмы и Структуры данных

Prompt Me One More Time. Учим LLM строить графы знаний из текстов Потребность в таких изысканиях понятна любому, кто пытался добиться от ChatGPT точного ответа на конкретный вопрос: подобрать литературу для курсовой, вспомнить название фильма по описанию и тому подобное. Очень часто модель начинает галлюцинировать и выдумывать факты, которых не существует. Один из способов решения этой проблемы — связать LLM с графом знаний, но сами графы тоже должен кто‑то наполнять. Мы с коллегами доказали, что эту задачу можно автоматизировать с помощью LLM и предложили своё решение, названное Prompt Me One More Time (фанаты Бритни тут?), о котором мне бы и хотелось сегодня здесь рассказать. За подробностями же можно обратиться к статье, представлена нами на воркшопе TextGraphs-17 конференции ACL-2024, недавно прошедшей в Тайланде. https://habr.com/ru/companies/airi/articles/855128/ Алгоритмы и Структуры данных

Зарплата до ₽900 тыс. на руки: на каких дата-специалистов сейчас высокий спрос Сегодня практически любой бизнес не может работать без сбора, обработки, анализа данных — всё это подвиды задач Data Scientist. Чем крупнее компания, тем сильнее различаются задачи, стоящие перед этими специалистами, а также заработная плата. С целью удовлетворить растущий мировой спрос на этих специалистов онлайн-университет Skillfactory создал бесплатный "Симулятор профессии дата-сайентист". Он нацелен на обучение начинающих специалистов в кратчайшие сроки. Попробовать симулятор, и выйти на стартовый доход 100 тыс.руб. Реклама. Информация о рекламодателе по ссылкам в посте.

Зарплата до ₽900 тыс. на руки: на каких дата-специалистов сейчас высокий спрос Сегодня практически любой бизнес не может работать без сбора, обработки, анализа данных — всё это подвиды задач Data Scientist. Чем крупнее компания, тем сильнее различаются задачи, стоящие перед этими специалистами, а также заработная плата. С целью удовлетворить растущий мировой спрос на этих специалистов онлайн-университет Skillfactory создал бесплатный "Симулятор профессии дата-сайентист". Он нацелен на обучение начинающих специалистов в кратчайшие сроки. Попробовать симулятор, и выйти на стартовый доход 100 тыс.руб. Реклама. Информация о рекламодателе по ссылкам в посте.

Как подготовиться к олимпиаде? Пройдите бесплатный курс подготовки к ВСоШ по математике от Т-Образования. Усиленная подготовка к олимпиаде в формате лекций и практических заданий по каждой теме от опытных преподавателей. Доступ к курсу останется навсегда — можно вернуться к подготовке в любой момент. Запишитесь на курс от Т-Образования за пару минут.

Балансировка нагрузки: простыми словами о всей мощи двух случайных вариантов В мире динамического выделения ресурсов и балансировки нагрузки есть много интересных алгоритмов, но один из самых известных и занимательных – так называемый «метод двух случайных выборов». Он привносит очень простое изменение в процедуру случайного выделения ресурсов, а качество результатов от этого улучшается экспоненциально. Мне посчастливилось реализовать именно эту технику в гигантском масштабе, чтобы оптимизировать использование ресурсов в AWS Lambda, но мне всё равно долго не удавалось «прочувствовать» этот метод интуитивно. В этом посте хочу познакомить вас с той метафорической картиной этого алгоритма, которую я для себя составил, и которая очень удобна для понимания других продвинутых техник в этой области. https://habr.com/ru/companies/piter/articles/746620/ Алгоритмы и Структуры данных

Внезапно сложная задача на литкоде: Варианты покупки двух товаров Есть вот такая, вроде бы, простая задача на литкоде: Дано три числа total - сколько у вас есть денег, cost1, cost2 - цены двух товаров. Надо подсчитать, сколько всего существует различных способов купить сколько-то этих двух товаров, не выходя из бюджета (значение имеет только общее количество покупок, а не порядок). Иными словами, сколько существет целых неотрицательных пар (x, y), таких что x*cost1+y*cost2 <= total . Например, имея товары ценами {5, 10} и 20 денег на руках, есть 9 способов потратить деньги: 0, 5, 5+5, 5+5+5, 5+5+5+5, 10, 10+5, 10+5+5, 10+10. Задача даже помечена как medium, и вообще почти в одну строчку решается, но это если допускать безумно медленное решение за O(total / max(cost1, cost2)) , т.е линейное от входных чисел. А сможете ли вы решить ее сильно быстрее - за O(log(max(cost1, cost2))) ? В этом случае задачка становится вполне себе hard и требует много математики, изобретательности и аккуратности. Если интересно решение, добро пожаловать под кат. Буду рад любым альтернативным решениям. Может кто-то сможет додуматься до похожего решения проще. https://habr.com/ru/articles/746774/ Алгоритмы и Структуры данных

Генерация Лабиринта | Алгоритм Эллера Алгоритм Эллера - это алгоритм генерации идеального лабиринта. Лабиринт считается идеальным, если у него нет замкнутых и зацикленных участков, и от любой точки до любой другой точки существует ровно один путь. Всем привет! Меня зовут Нурислам (aka tonitaga), я участник School21 и сегодня я бы вам хотел рассказать о Генерации Лабиринтов. Статья была написала из-за того, что другие источники (по крайней мере, которые я видел) упускают важные моменты теории, а именно момента по правильному объединению множеств, и не имеют корректного пошагового примера с использованием определённых псевдослучайных чисел. https://habr.com/ru/articles/746916/ Алгоритмы и Структуры данных

Росстат: доходы россиян резко снизились за последний год Без доп.заработка уже не обойтись, но благо сейчас эра интернета, и есть такие каналы, как Home Work. В нем ежедневно выкладывают 30 свежих вакансий, которые проходят тщательную проверку на мошенничество и позволяют заработать быстрые деньги. — Перевести голосовое в текст - 3000р — Написать отзыв про ресторан - 1500р — Поставить лайки на 10 видео - 1000р Хватит с ужасом смотреть на цены, подписывайся и заработай на свои хотелки уже сегодня 👇 https://t.me/+tpKIQJ29Ue1hNjM6

Генерируй, дискриминируй. Как мы ускорили доменную адаптацию GAN для генерации лиц в пять тысяч раз Сегодня мне хотелось бы поделиться с вами успехами, которых добилась наша научная группа в вопросе адаптации генеративно-состязательных сетей на новые домены. https://habr.com/ru/companies/airi/articles/747038/ Алгоритмы и Структуры данных

GitHub – умер. 90% контента генерится через ChatGPT, а реально полезные материалы собирают мало просмотров и не выводятся в топ. Хорошо, что есть канал Технологичка. Там тима айтишников ручками отсматривают и выкладывают самую годноту. Все материалы отсортированы по темам и категориям: 🖥 Статьи для Python разработки 🖥 Статьи для Frontend разработки 🖥 Статьи для Java разработки 🖥 Статьи для C/C++ разработки 🖥 Статьи для C# разработки 🖥 Статьи для PHP разработки 👣 Статьи для Go разработки 👩‍💻 Статьи для Android разработки 👩‍💻 Статьи для iOS разработки 🖥 Статьи для безопасников 👩‍💻 Статьи для разработчиков игр 🖥 Статьи для тестировщиков 🖥 Статьи для DevOps-инженеров В общем, пользуйтесь, других таких каналов вы не найдете: https://t.me/+0r2CtqCY56QxYjU0

Реализация режимов шифрования на языке RUST После долгого перерыва мы возвращаемся в мир криптографических алгоритмов. В этот раз мы рассмотрим некоторые широко известные режимы шифрования блочных шифров, такие как ECB, CBC, CFB, OFB, CTR и подготовим небольшую архитектурную задумку, о которой я расскажу под катом. Как всегда надеюсь, что эта статья будет полезна другим студентам. Более опытные разработчики в комментариях ожидаются (и приветствуются) — поделитесь своим опытом. https://habr.com/ru/articles/855132/ Алгоритмы и Структуры данных

Не так безопасен OpenPGP как его малюют Конфиденциальность и безопасность в сети никогда не были актуальней, чем сегодня. Компании, госслужащие и частные лица сталкиваются со всё более высокими рисками, чем когда-либо прежде. Киберпреступность, злоупотребления со стороны государственных структур и банальный шпионаж процветают не только в голливудских фильмах. Финансовая информация, деанонимизация личности, коммерческие патенты или просто конфиденциальные сообщения, — каждому есть что терять, даже если ему нечего скрывать. Одним из самых популярных вариантов решения этого вопроса является использование шифрования. За последние годы PGP, а затем и OpenPGP стали стандартом почти для всех подписанных или зашифрованных электронных писем в мире. https://habr.com/ru/companies/first/articles/747272/ Алгоритмы и Структуры данных

Apple и Samsung считают, что мы дебилы Каждый год они выпускают телефоны, которые ничем не отличаются — и продают их за безумные сотни тысяч. А старые модели просто перестают обновлять. Прямо сейчас в сети вирусится блог бывшего разработчика Android, который показывает, как нас дурят техногиганты и дают нам пользоваться телефонами только на 5%. Чувак на пальцах объясняет, как ускорить интернет в 3 раза, повысить качество фото даже на стареньком смартфоне и держать полный заряд батареи неделями. Подписывайтесь и заставьте свои гаджеты работать на 200%: @Костыль