Data Science: Алгоритмы и Структуры данных

PKI, прикладная криптография и электронная подпись: о чем здесь речь и как это работает в нашей блокчейн-платформе Криптография в целом — это большая область знаний. И хотя блокчейн всегда идет с ней рука об руку, в реальных проектах на базе распределенных реестров используется лишь некоторые из достижений криптографии. В этом посте я постараюсь рассказать простым языком, что они собой представляют и как работают в рамках нашей блокчейн-платформы «Конфидент». https://habr.com/ru/companies/web3_tech/articles/761112/ Алгоритмы и Структуры данных

🔴В России заработала программа социального жилья. С 20 сентября жители всех крупных регионов могут получить квартиру от государства, независимо от уровня доходов и состава семьи. Уже появилась карта квартир, которые доступны для подачи. Чтобы посмотреть карту своего города, найдите его в списке: Москва: @msk360 Питер: @petr360 Абакан: @abkn360 Архангельск: @arhangelsk360 Астрахань: @astrakhan360 Барнаул: @barnaul360 Балашиха: @balashiha360 Белгород: @belgorod360g Благовещенск: @blagov360 Брянск: @bryansk360g Великий Новгород: @vnovgorod360 Владивосток: @vladivostok360 Владимир: @vladimir360g Волгоград: @volgograd360g Воронеж: @voronezh360g Вологда: @vologda360g Волжский: @volgskii360 Екатеринбург: @ekaterinburg360 Ижевск: @izhevsk360 Иркутск: @irkutsk360g Иваново: @ivanovo360 Йошкар-Ола: @ioshkarola360 Казань: @kazan360g Калининград: @kaliningrad360g Калуга: @kaluga360 Камчатка: @kamchatka360 Кемерово: @kemerovo360 Киров: @kirov360g Краснодар: @krasnodar360g Красноярск: @krasnoyarsk360 Кострома: @kostroma360 Крым: @crimea360g Курск: @kursk360 Курган: @kurgan360 Липецк: @lipetsk360g Магнитогорск: @magnitogorsk360 Махачкала: @makhachkala360 Мурманск: @murmansk360g Набережные Челны: @chelny360 Нижний Новгород: @nizhnynov360 Нижний Тагил: @nizhnytagil360 Новокузнецк: @novokuznetsk360 Новосибирск: @novosibirsk360 Новороссийск: @novorussia360 Новоалтайск: @novoaltaisk360 Омск: @omsk360g Оренбург: @orenburg360 Орёл: @orel360g Пенза: @penza360 Пермь: @perm360 Петрозаводск: @petrozavodsk360 Подольск: @podolsk360 Рязань: @ryazan360 Ростов-на-Дону: @rostov360g Самара: @samara360 Саратов: @saratov360 Саранск: @saransk360 Сахалин: @sahalin360 Сочи: @sochi360g Ставрополь: @stavropol360 Стерлитамак: @sterlitamak360 Старый Оскол: @staryoskol360 Сургут и ХМАО: @surgut360 Смоленск: @smolensk360 Сыктывкар: @sktwkar360 Таганрог: @taganrog360 Тамбов: @tambov360 Тольятти: @toliatti360 Тула: @tula360з Томск: @tomsk360 Тюмень: @tymen360 Тверь: @tver360g Ульяновск: @ulanovsk360 Уфа: @ufa360g Улан-Удэ: @ulanude360 Хабаровск: @habarovsk360 Челябинск: @chelyabinsk360 Чебоксары: @cheboksari360 Череповец: @cherepovec360 Чита: @chita360 Ярославль: @yaroslavl360g Якутск: @yakutsk360g Другой город: @russia360

Решение задачи равенства классов p и Np и последовательность простых чисел Монография представляет собой исследовательскую работу, посвященную решению одной из важных математических задач, поставленных институтом Клэя, а именно задачи равенства классов p и Np. В ней представлены новые теоремы и концепции, разработанные автором в областях теории чисел и теории алгоритмов. Монография претендует на фундаментальную новизну своего математического введения, учитывая предшествующие работы других математиков, а также актуальные математические публикации. Особенностью монографии является ее самодостаточность как учебника, который требует от читателя минимального уровня специфических математических знаний. При этом она предоставляет возможность читателю самостоятельно исследовать материал, обращаясь к первоисточникам и дополнительным источникам информации. В работе подчеркивается фундаментальный характер исследований, а также возможность применения их в других областях науки, особенно в контексте оптимизационных решений. Цель монографии заключается в том, чтобы предложить читателю новые математические подходы и идеи, расширить его понимание предметной области и стимулировать самостоятельные исследования в данной области. https://habr.com/ru/articles/761460/ Алгоритмы и Структуры данных

Заявка на участие в клубе создателей алгоритма объединения многоугольника и треугольника Дана тень, ограниченная замкнутой ломаной линией, в виде набора отрезков. Отрезки границы ориентированы – обеспечивая положительный обход тени (тень слева) – начало и конец отрезка задается координатами на плоскости. Однако, отрезки не обязаны быть упорядочены в геометрическом порядке – не обязаны следовать один за другим – другими словами, порядок отрезков в списке – произвольный. https://habr.com/ru/articles/848782/ Алгоритмы и Структуры данных

Создаём субтитры для любого видео в интернете с помощью нейросети в браузере В этой статье я расскажу, как мы построили модель для генерации субтитров и на что нам пришлось пойти, чтобы она стала потреблять в 5 раз меньше оперативной памяти. А ещё поговорим про квантизацию свёрток и трансформеров и почему fp16 не так прост, как кажется. https://habr.com/ru/companies/yandex/articles/758782/ Алгоритмы и Структуры данных

😒 На одном кодинге уже давно не вывезешь, перспектива 2024 года - Информационная Безопасность Ловите два канала на тему ИБ и хакинга Арсенал Безопасника - Проект по кибербезопасности - сборник лучших инструментов и утилит по OSINT, хакингу и деанону Бункер Хакера - Сборник инструментов, книг, справочников, гайды и ресурсы по информационной безопасности, анонимности и разведки.

Муравьиный алгоритм. Решение задачи коммивояжера В данной статье я бы хотел объяснить работу муравьиного алгоритма и решить с его помощью задачу коммивояжера. Решение задачи сводится к выходу из какой-либо вершины графа, прохождению по всем вершинам по одному разу самым коротким путем и возврату к начальной точке. В конце статьи вас ожидает реализация алгоритма на языке Go. https://habr.com/ru/articles/848590/ Алгоритмы и Структуры данных

Создание прототипа библиотеки для визуализации алгоритмов на Python Одним днем я решил поработать с различными алгоритмами, но как оказалось это не так просто. Дело в том, что проще визуально воспринимать информацию, нежели в виде кода. Тогда я поставил себе цель - попробовать написать небольшой, но полезный прототип библиотеки для визуализации алгоритмов на языке программирования Python. https://habr.com/ru/articles/848656/ Алгоритмы и Структуры данных

Циркуль и линейка. Часть 1 Как-то раз мне захотелось сделать анимацию построения фигуры циркулем и линейкой. Немного погуглив, обнаружил, что на английском compass это ещё и циркуль, и что подходящего готового решения нет. Всё дальнейшее вылилось в эту статью. https://habr.com/ru/articles/755364/ Алгоритмы и Структуры данных

Зарплата до ₽900 тыс. на руки: на каких дата-специалистов сейчас высокий спрос Сегодня практически любой бизнес не может работать без сбора, обработки, анализа данных — всё это подвиды задач Data Scientist. Чем крупнее компания, тем сильнее различаются задачи, стоящие перед этими специалистами, а также заработная плата. С целью удовлетворить растущий мировой спрос на этих специалистов онлайн-университет Skillfactory создал бесплатный "Симулятор профессии дата-сайентист". Он нацелен на обучение начинающих специалистов в кратчайшие сроки. Попробовать симулятор, и выйти на стартовый доход 100 тыс.руб. Реклама. Информация о рекламодателе по ссылкам в посте.

Искусство следопыта в корпоративной инфраструктуре В этой статье хотелось бы обсудить индикаторы атаки — ту часть Threat Intelligence, которая отвечает за эффективное реагирование на угрозы и расследование инцидентов. В этом контексте вспомним одну из апорий Зенона Элейского про Ахиллеса и черепаху. Современный бизнес часто оказывается в позиции быстроного Ахиллеса, который, догоняя черепаху, всегда остается чуть позади. https://habr.com/ru/companies/securityvison/articles/783698/ Алгоритмы и Структуры данных

Сообщество IT-специалистов в Telegram от Selectel. Канал крупнейшего независимого провайдера IT-инфраструктуры и облаков. Шесть причин подписаться на канал: - железные новости; - обзоры продуктов; - разборы кейсов; - актуальные IT-статьи; - анонсы митапов; - бесплатные курсы. Подписаться #реклама О рекламодателе

Многорукие бандиты в задаче ритейла В настоящее время набирают популярность модели Reinforcement Learning для решения прикладных задач бизнеса. В этой статье мы рассмотрим подмножество этих моделей, а именно многоруких бандитов (multi-armed bandits). https://habr.com/ru/companies/X5Tech/articles/783390/ Алгоритмы и Структуры данных

Как работают и зачем нужны датагриды Я думаю, ни для ни кого не секрет, что задачи, которые включают в себя отображение чего-либо в виде сетки (датагрида) или таблицы встречаются очень часто. При этом, если данных очень много, то отображение результатов (в HTML) становится весьма нетривиальной задачей, которая обычно решается разбиением на страницы. Давайте посмотрим, какие ещё существуют способы показать пользователю большую кучу данных, причём желательно с фильтрацией результатов и поиском, да ещё и чтобы это не слишком тормозило :). https://habr.com/ru/articles/111422/ Алгоритмы и Структуры данных

Нейронные оптимизаторы запросов в реляционных БД (Часть 2): На пути к продуктивизации Нельзя просто взять и заменить нейросетями миллионы человеко-часов, вложенных в разработку классических оптимизаторов запросов реляционных СУБД. Надёжность, гибкость и скорость — ключевые характеристики экспертных систем, которые нарабатывались и отлаживались десятилетиями. В прошлой статье рассказали о пионерах в области нейросетевых оптимизаторов, которые создали плацдарм для развития подобных ML-систем и их последующего вывода на уровень коммерческих продуктов. В этой же — затронем относительно стабильные подходы, не требующие гигантских вычислительных кластеров и удовлетворяющие большую часть потребностей бизнеса. Серебряной пули, конечно, не существует, но с каждым из этих методов можно прийти к оптимальному решению для конкретной задачи. https://habr.com/ru/companies/postgrespro/articles/848218/ Алгоритмы и Структуры данных

Графы, растры и море: как школьники создают будущее геоаналитики Представьте: лето, море, Сочи... А вы старшеклассник, которого внезапно приглашают не просто отдохнуть, а взяться за работу. Причём не за простую работу — вас ждут задачи с графовыми нейросетями, сложными моделями машинного обучения и анализом данных. Добро пожаловать в образовательный центр «Сириус», где отдыхает лишь ваше представление о том, что школьники должны просто зубрить учебники. Программа «Большие вызовы» — это не просто школьный кружок. Здесь всё по-взрослому: реальные бизнес-задачи, большие данные, командная работа и дедлайны, которые не щадят никого. В этой статье я расскажу, как школьники справились с этим непростым испытанием и доказали, что молодежь способна удивлять. https://habr.com/ru/companies/vtb/articles/847998/ Алгоритмы и Структуры данных

Как у нейросетей работает внимание? Статья про self-attention и cross-attention Современные генеративные нейросети, такие как Stable Diffusion или FLUX, создают изображения по текстовым описаниям, используя механизм внимания — attention. Этот механизм помогает моделям как выделять важные части информации, так и связывать промпт с изображением, чтобы в итоге мы получили то, что хотели. В основе этого процесса лежат два типа внимания: self‑attention (внутреннее внимание), которое определяет взаимосвязи внутри изображения, и cross‑attention (перекрестное внимание), сопоставляющее текстовую подсказку с ее визуальным воплощением. Например, в случае с запросом «конь на ракете», cross‑attention сопоставит токены («конь» и «ракета») и решит, где разместить коня и ракету, а также в какой обстановке их лучше поместить, например, на Марсе. Self‑attention, в свою очередь, помогает модели понять, как элементы изображения связаны между собой. Например, как «конь» и «ракета» будут выглядеть вместе и как они состыкуются друг с другом на изображении. Этот процесс обеспечивает логическую связность и целостность финального результата. https://habr.com/ru/articles/847698/ Алгоритмы и Структуры данных

Научитесь Python разработке за 0₽ Зарплата начинающего Python разработчика от 60 000₽, а стоимость обучения на профессию в онлайн-школах от 120 000 до 300 000 рублей. Прямо сейчас Skillbox проводит бесплатно мини-курс по программированию на Python. Переходите по ссылке и обучитесь основам Python за 5 дней. Акция продлится до 05 октября: https://go.redav.online/e16edf6ecd17e5e0?erid=2VfnxyFWM3N&m=1

Футбольные алгоритмы глобальной оптимизации (часть 2) В предыдущей статье автор рассказывал о некоторых метаэвристических алгоритмах, инспирированных динамикой футбола и стратегическими элементами футбольного матча. В этой мы продолжим знакомство с семейством таких алгоритмов. https://habr.com/ru/companies/first/articles/847866/ Алгоритмы и Структуры данных

VLM в Нейро: как мы создавали мультимодальную нейросеть для поиска по картинкам В этой статье я расскажу, что такое визуально‑текстовые мультимодальные модели (Visual Language Models, VLM), как у нас в Яндексе организован процесс их обучения и какая у них архитектура. Вы узнаете, как Нейро работал с картинками и текстами раньше, и что изменилось с появлением VLM. https://habr.com/ru/companies/yandex/articles/847706/ Алгоритмы и Структуры данных