Data Science: Алгоритмы и Структуры данных
Відкрити в Telegram
Мы не претендуем на оригинальность контента, мы лишь собираем материал из открытых источников. Ссылка: @Portal_v_IT Сотрудничество: @oleginc Канал на бирже: https://telega.in/c/structuredata
Показати більше7 568
Підписники
-224 години
-207 днів
-6630 днів
Архів дописів
Сферический коммивояжёр в вакууме и в реальной жизни
Некоторое время назад я участвовал в разработке приложения для фирмы, работающей в сфере транспортной логистики. Поскольку в тот момент фирма только начинала свою активную деятельность, многие процессы были еще не автоматизированы, и менеджер каждый вечер тратил два часа своего времени на распределение завтрашних заказов по водителям и составление их оптимальных маршрутов. У меня сразу же возникла идея реализовать в приложении инструменты, максимально облегчающие его задачу. Что из этого получилось - под катом.
https://habr.com/ru/articles/787990/
Алгоритмы и Структуры данных
24 січ 2024, 07:16
Pornhub заплатит $14 за просмотр каждого ролика, который длится больше 20 минут
А «Вкусно и точка» подарит сертификат на 3000р, если оставить положительный отзыв в телеграме и отметить их аккаунт в сториз.
Канал Лимон 🍋 находит СОТНИ бизнес-подработок, с которыми даже лодырь сможет получать лишние 60-70 тысяч.
– Зритель фильмов на Кинопоиске – 4.000р за 2 часа
– Автор отзывов на Google Maps – 100р/штука
– Помощник блогера на ютубе – $600/мес
Подпишитесь, если хотите работать на себя и получать за это неплохие деньги: https://t.me/+v3xevuhz1cQ1ZWVi
24 січ 2024, 05:11
26 січ 2024, ~05:11
Компилятор за выходные: лексер и парсер
Продолжаем разговор. На прошлой неделе я пообещал за выходные написать компилятор из простенького мной придуманного языка в ассемблер. В назначенное время уложился, и компилятор даже вроде работает, см. заглавную картинку. Теперь дело за малым, потихоньку причесать и стройно изложить. В прошлый раз я рассказал про синтаксические деревья и показал простейший транслятор в питон (по факту, обычный pretty print дерева). Но если в предыдущей статье я синтаксическое дерево строил вручную, то сегодня всё же будем автоматизировать процесс.
https://habr.com/ru/articles/787800/
Алгоритмы и Структуры данных
23 січ 2024, 11:06
Разбираем самый маленький PNG в мире
Самый миниатюрный PNG в мире весит 67 байт и представляет собой один чёрный пиксель. Выше вы видите его в 200-кратном увеличении.
Красота, не так ли?
Состоит этот файл из четырёх частей:
Сигнатура PNG, одинаковая во всех файлах этого формата: 8 байт.
Метаданные изображения, включая его размеры: 25 байт.
Данные пикселя: 22 байта.
Маркер «конец изображения»: 12 байт.
Далее я опишу этот файл подробнее и постараюсь объяснить принцип работы формата PNG.
https://habr.com/ru/companies/ruvds/articles/787302/
Алгоритмы и Структуры данных
23 січ 2024, 06:24
GeekBrains дарит 6 месяцев бесплатного обучения интернет-профессиям с гарантией трудоустройства.
Список профессий участвующих в акции:
Digital-маркетолог (зп 135 000₽)
Менеджер маркетплейсов (зп 115 000₽)
Веб-дизайнер (зп 245 000₽)
Графический дизайнер (зп 120 000₽)
UX/UI дизайнер (зп 200 000₽)
Веб-разработчик (зп 245 000₽)
Python-разработчик (зп 270 000₽)
Java-разработчик (зп 275 000₽)
Инженер по тестированию (зп 110 000₽)
Приобретение обучения гарантирует трудоустройство, или GeekBrains вернет деньги!
⚠️Акция действительна только по ссылкам в посте. Срок окончания акции 30 января 2024 года.
23 січ 2024, 05:33
25 січ 2024, ~05:33
Как «подправить» неправильные судоку. Алгоритм решения судоку, использующий систему ограничений
Разобран алгоритм, ориентированный главным образом на решение неправильных судоку (9×9), и на примерах показано, как можно их «подправить».
Правильное судоку имеет единственное решение, которое печатается, например, в газетах в виде одной заполненной цифрами таблицы. Но многие генераторы судоку из интернета, да и газеты (см. далее ссылку на архив газет) часто приводят головоломки судоку с одним (но вовсе не единственным) ответом на судоку. Получить нетривиальное правильное судоку непросто. Поэтому уместно, взяв за основу опубликованные неправильные судоку, «подправить» их, дополнив некоторыми условиями, и получить подправленные судоку с одним решением, которое можно представить (и напечатать) в виде одной таблицы как ответ на судоку.
https://habr.com/ru/articles/787496/
Алгоритмы и Структуры данных
22 січ 2024, 11:06
Векторизация изображений. Как создать алгоритм поиска похожих изображений на Python
Многочисленные исследования ученых доказывают, что около 90% информации человек воспринимает через зрение. Изображения являются одним из самых богатых источников информации, которую можно использовать для разнообразных задач, включая классификацию, детекцию объектов, ранжирование изображений, поиск по изображениям и генерацию текстовых описаний.
Все перечисленные выше задачи сегодня реализуются с применением машинного и глубокого обучения. Однако для эффективной обработки изображений необходимо иметь их числовое представление, так как модели машинного обучения способны воспринимать только его.
https://habr.com/ru/companies/ppr/articles/787254/
Алгоритмы и Структуры данных
22 січ 2024, 06:06
Алгоритм для аппроксимации плоскости
Алгоритм построения плоскости по облаку точек методом наименьших квадратов – довольно простой, но я не нашел готового алгоритма в Интернете. В итоге, пришлось самому разбираться. Я решил написать эту статью, т.к. в конце статьи будет готовый к применению алгоритм расчета. Надеюсь, кому-нибудь окажется полезно.
https://habr.com/ru/articles/787186/
Алгоритмы и Структуры данных
21 січ 2024, 11:06
Улучшаем динамические таблицы YTsaurus с помощью алгоритмов
Динамические таблицы в YTsaurus занимают заметное место во внутренней инфраструктуре Яндекса. В них можно хранить огромные массивы данных, и читать их можно настолько быстро, что многие сервисы Яндекса используют YTsaurus при построении ответа внешним пользователям.
Всё это звучит здорово, но стоять на месте никак нельзя. Поэтому мы постоянно работаем над всякого рода улучшениями и оптимизациями. Зачастую новые фичи хранят под капотом не самую тривиальную идею. И сегодня я хочу рассказать о нескольких таких улучшениях, которые мы затащили в виде новых фич в последнем релизе.
В этой статье разберёмся, как работает xor‑фильтр, в чём особенность чанкового хеш‑индекса и как overload controller повышает стабильность работы. Все примеры разберём на примере YTsaurus, но они будут полезны любому разработчику СУБД.
https://habr.com/ru/companies/yandex/articles/785994/
Алгоритмы и Структуры данных
21 січ 2024, 06:06
Недостатки и предложения по улучшению метода анализа иерархий
В данной статье выполнен обзор метода анализа иерархий (МАИ) Т.Саати в части формирования экспертами матриц парных сравнений, выявлены недостатки и разработаны рекомендации по совершенствованию МАИ.
https://habr.com/ru/articles/787550/
Алгоритмы и Структуры данных
20 січ 2024, 11:07
Отсечение и поиск / Prune and search
Решал задачу на LeetCode (Word Search) и наткнулся на незнакомый мне термин "search pruning", либо "Prune and search". Немного погуглив узнал, что это метод решения задач оптимизации, на Википедии есть соответствующая статья. На русском языке я не нашел такого термина, только некоторые работы на studfile и автоматический корявый перевод на Wiki5, из-за чего решил перевести статью на Википедии, которую привел выше и немного пояснить, что этот термин означает. Перевод любительский и вольный, если будут ошибки, то поправьте, пожалуйста. Перевожу для ссылки из своего расширения LeetCode to Russian и для тех, кто наткнется на такой термин и решит погуглить его на русском языке. Если в русском языке существует похожее определение, но называется по-другому, то прошу написать в комментариях, чтобы я поправил статью.
https://habr.com/ru/articles/787580/
Алгоритмы и Структуры данных
20 січ 2024, 10:15
Станьте IT-специалистом с зарплатой от 100 000 рублей бесплатно
👉 Только в январе GeekBrains дарит 3 недельное обучение на профессию Python разработчика бесплатно.
Записавшись на обучение, вы получите не только технические знания, но и возможность войти в профессию с высоким спросом и перспективами для карьерного роста.
Не упустите шанс начать свой путь в IT с поддержкой опытных преподавателей и располагающей обучающей средой.
Зарегистрируйтесь сейчас и получите бонусом карьерную консультацию.
Реклама. Информация о рекламодателе по ссылкам в посте.
20 січ 2024, 04:07
22 січ 2024, ~04:08
«Пора ли гнать на мороз Computer Vision — scientist'ов ?» (Fondation Models и вокруг)
Прошлый год в Computer Vision запомнился тем, что появилось множество больших претрейненных сетей (Fondation Models). Самая известная - GPT4v (ChatGPT с обработкой изображений).
В статье я попробую простым языком объяснить что это такое (для тех кто пропустил), как меняет индустрию. И когда можно будет выгнать на мороз лишних "ресерчеров".
https://habr.com/ru/companies/recognitor/articles/786646/
Алгоритмы и Структуры данных
19 січ 2024, 11:06
Обучаем JavaScript-разработчиков
В Kata Academy можно выучиться на Frontend-разработчика бесплатно, а заплатить уже после трудоустройства по специальности из фактической зарплаты.
Если задуматься, то все в выигрыше
—Ты получаешь работу с хорошей зарплатой, мы получаем процент за инвестиции в тебя и продолжаем прокачивать твои навыки еще 2 года;
— в наших интересах научить тебя так, чтобы твоя зарплата была как можно выше;
— мы развиваем твои навыки и после курсов: проводим выездные мероприятия и мастер-классы — и доходы наших выпускников растут;
— мы не зависим от банков и их рассрочек — кризис не повлиял на доступность курсов.
Чтобы попасть на курс, нужно выполнить небольшое тестовое задание. Переходи по ссылке и оставляй заявку!
Узнать больше
#реклама
kata.academy
О рекламодателе
19 січ 2024, 09:10
21 січ 2024, ~09:10
Основы обработки радиолокационных данных дистанционного зондирования Земли
В последние годы повысился интерес к теме коммерциализации отечественной аэрокосмической отрасли и, в частности, к теме дистанционного зондирования Земли (ДЗЗ) из космоса. Государственные и частные компании стали анонсировать планы по созданию отечественных многоспутниковых группировок космических аппаратов (КА) ДЗЗ, в том числе и КА радиолокационного наблюдения. Повысился и интерес к вопросам организации эффективной наземной инфраструктуры приема и обработки данных ДЗЗ. Наш коллектив более 20 лет занимается разработкой программного обеспечения в области ДЗЗ и создал в общей сложности более 20 наземных комплексов автоматической обработки данных с космических аппаратов оптико-электронного и радиолокационного наблюдения. Наблюдая повышенный интерес к этой предметной области с одной стороны и явный недостаток информационных материалов по теме обработки радиолокационных данных ДЗЗ с другой, решили написать статью, которая, надеемся, будет полезна для всех интересующихся темой ДЗЗ.
https://habr.com/ru/articles/787074/
Алгоритмы и Структуры данных
19 січ 2024, 06:06
Коротко про алгоритмы и структуры данных
Нужно ли программисту знать «структуры данных»? Да, нужно.
Нужно ли ему знать алгоритмы? Не обязательно. Однако нужно их понимать, уметь в них разобраться.
Из второго пункта можно вывести и другой вопрос «Нужно ли программисту знать математику?». На самом деле ответ будет примерно таким же. Представим, что вам придется погрузиться в алгоритмы не только на собеседовании. Например, появится задача существенно модифицировать библиотеку или фреймворк под нужды компании, взяв сам алгоритм только за основу. Имея за плечами даже базовое (со времен школы или студенчества) воспоминание о различных областях математики, вы справитесь с задачей гораздо быстрее.
https://habr.com/ru/companies/vk/articles/787014/
Алгоритмы и Структуры данных
18 січ 2024, 11:07
Как добыть свечи по всем акциям Мосбиржи
В конце прошлого года я писал о том, как с помощью Algopack можно вытащить справочную информацию о всех акциях Мосбиржи. Приводил пример моего первого скрипта на python, использующего библиотеку moexalgo для Algopack и обозначил планы дописать его с целью добычи всех исторических данных.
https://habr.com/ru/articles/786770/
Алгоритмы и Структуры данных
18 січ 2024, 06:07
Книги, специализированные
Статья в которой собраны лучшие специализированные книги
https://habr.com/ru/articles/786644/
Алгоритмы и Структуры данных
17 січ 2024, 11:06
Про сортировку чисел и SIMD или как я обогнал STL в 16 раз
Cитуация, когда недостаток производительности пытаются покрыть новым железом, не редка. Важно понимать, однако, что железо, которое мы использовали и используем сегодня, содержит в себе множество механизмов, способных актуализировать наш код на годы вперед. В моем понимании программист, умеющий грамотно оперировать этими механизмами(в частности в терминах бизнес процессов, требующих 'Здесь и Сейчас', терминах поиска золотой середины между Скоростью и Дизайном) - профессионал. В этой статье речь пойдет про довольно изъезженную и, казалось бы, понятную тему - тему сортировок, но с одним небольшим дополнением - SIMD. Эту тему я выбрал не случайно: в процессе решения довольно важной для индустрии задачи возникла следующая подзадача: есть входное множество целых чисел. Каждому множеству сопоставлено свое уникальное значение. При этом множества элементов, которые отличаются между собой только порядком следования элементов, а не их значениями, считаются одинаковыми и должны возвращать одно и тоже значение. Одно из решений - посортировать множества, а затем использовать результат как ключ в Хеш Таблице. Одно из важных условий - количество элементов в множестве не превышает 128 элементов. Под катом рассказываю о том, как сортировать такие множества быстро.
https://habr.com/ru/articles/785938/
Алгоритмы и Структуры данных
17 січ 2024, 06:06
Информатика, зачем? Я и так умею программировать! (на примере языка C++)
Буду честен перед читателем. Все современные языки программирования обладают полнотой по Тьюрингу, то есть написанные алгоритмы будут эквивалентны между собой. Эквивалентность алгоритма означает одинаковый вход и выход. Так почему здесь указан язык C++?
https://habr.com/ru/articles/786366/
Алгоритмы и Структуры данных
16 січ 2024, 11:07
