Data Science: Алгоритмы и Структуры данных

Разбираем самый маленький JPEG в мире Интересно, а какой самый маленький файл JPEG? В ответах на StackOverflow и Reddit можно встретить размеры 107, 119, 125, 134, 141, 160 байтов. Все они представляют серый прямоугольник 1 на 1. И кто прав? Все правы, просто такая разница объясняется различными режимами кодирования и степенью строгости соответствия стандарту. Описание всех нюансов разрослось до целой статьи cо всеми необходимыми подробностями для более-менее хорошего знакомства с самыми маленькими jpeg-ами. После краткой теории разберем 159-байтный файл на КДПВ, а затем рассмотрим способы его уменьшения. https://habr.com/ru/articles/791302/ Алгоритмы и Структуры данных

Гениальный ход: коллеги из GigaChat ответили на предложение Бургер Кинга, предлагая сгенерировать новый рецепт Воппера с помощью своей нейромодели. Если Бургер Кинг запустит и добавит его в свое меню во всем мире, начиная с России, им начислят 100 миллионов бонусов Спасибо. Наши нейросети опять всех опередили.

💃Сбер ответил Burger King, который предложил 1 миллион долларов за разработку нового рецепта бургера с помощью AI и предложил запустить сначала в России, а потом и во всем мире новый бургер, рецепт которого придумают с помощью GigaChat. В награду Сбер направит руководству закусочного гиганта 100 млн бонусов СберСпасибо. @sosicka

Стеки и Очереди в Swift Итак, что такое стек? К счастью, вы уже знакомы со стеками. Стеки — это повседневные объекты, которые мы видим вокруг в виде стопки. Например, стопка колода карт: вы можете класть вещи на стек и снимать их со стека. Причина, по которой это так удобно в информатике, заключается в том, что действия по добавлению и удалению элементов могут быть очень быстрыми. Это операция с постоянным временем выполнения O(1), и компьютерные ученые используют это при построении таких структур данных, как стеки. https://habr.com/ru/articles/792220/ Алгоритмы и Структуры данных

QOI: как сжимать изображения в 20 раз быстрее STBI и без потерь Представляем QOI — Quite OK Image Format. Он без потерь сжимает RGB- и RGBA-изображения до размера PNG, обеспечивая при этом ускорение в 20–50 раз при сжатии и ускорение в 3–4 раза при распаковке. Всё однопоточно, без SIMD. И до глупости просто. https://habr.com/ru/companies/skillfactory/articles/598507/ Алгоритмы и Структуры данных

Pandas в pandas'е: упаковываем документацию в датафрейм Документация к сложным библиотекам на питоне (напр. pandas) хранится в doc-строках и разбросана по сотням страниц сайта. В этой статье мы с помощью небольшого кода упакуем её (информацию из документации для каждого класса и метода) в... датафрейм. Но зачем? Во-первых, это прикольно так её можно быстро искать и анализировать. Во-вторых, изучим некоторые встроенные питоновские средства работы с документацией. Наконец, такой датафрейм потенциально может стать основой для обучения/дообучения GPT-моделей генерировать более корректный, безошибочный, использующий всевозможные функции и их аргументы, код... Переходя от текста, хоть и структурированного, к полностью формализованному табличному описанию, мы движемся в сторону неантропоморфности документации - то есть в сторону облегчения её понимания для машины, алгоритма, и, возможно, усложнения понимания для человека (не не всякого - тот, кто может оперировать датафреймами, извлечет из такой документации пользу намного быстрее и эффективнее! ) https://habr.com/ru/articles/784344/ Алгоритмы и Структуры данных

Привет, Data Scientist! 🧠 В этом году Data Fusion Contest возвращается с двумя новыми задачами в области машинного обучения. ⏱ Сроки соревнования: 15 февраля – 5 апреля 🖥 Формат: онлайн 🎯 Твой вызов Твое поле битвы — задачи по геоаналитике и моделям оттока клиентов. Покажи, на что ты способен, используя новые подходы на синтетических транзакционных данных пользователей. 🏆 Больше, чем соревнование Data Fusion Contest 2024 — это не только соревнование, но и возможность присоединиться к Data Science сообществу единомышленников. 🎁 Подарки и мерч — Награда за лучшие публичные решения по обеим задачам. — Регулярные онлайн-митапы и воркшопы. — Ценные сувениры и мерч от организаторов соревнования. Прокачайся в новых DS/ML методах и стань частью соревнования от ВТБ и Т1 — зарегистрируйся на Data Fusion Contest 2024 по ссылке — https://vk.cc/curjeW Удачи! ✨ Рекламодатель: ООО "Т1" ИНН: 7720484492 erid: 2SDnjdMxu2Y

Привет, Data Scientist! 🧠 В этом году Data Fusion Contest возвращается с двумя новыми задачами в области машинного обучения. ⏱ Сроки соревнования: 15 февраля – 5 апреля 🖥 Формат: онлайн 🎯 Твой вызов Твое поле битвы — задачи по геоаналитике и моделям оттока клиентов. Покажи, на что ты способен, используя новые подходы на синтетических транзакционных данных пользователей. 🏆 Больше, чем соревнование Data Fusion Contest 2024 — это не только соревнование, но и возможность присоединиться к Data Science сообществу единомышленников. 🎁 Подарки и мерч — Награда за лучшие публичные решения по обеим задачам. — Регулярные онлайн-митапы и воркшопы. — Ценные сувениры и мерч от организаторов соревнования. Прокачайся в новых DS/ML методах и стань частью соревнования от ВТБ и Т1 — зарегистрируйся на Data Fusion Contest 2024 по ссылке — https://vk.cc/curjeW Удачи! ✨ Рекламодатель: ООО "Т1" ИНН: 7720484492 erid: 2SDnjdMxu2Y

Как я написал алгоритм сортировки, который быстрее std::sort. Часть 2 Публикуем вторую часть перевода материала об очень быстром алгоритме сортировки — «Ska Sort». В первой части говорилось о временной сложности алгоритмов и о том, какие улучшения базового алгоритма «Американский флаг» позволили автору «Ska Sort» повысить скорость сортировки. Сегодняшний материал посвящён рассказу о том, почему новый алгоритм быстрее других алгоритмов сортировки. https://habr.com/ru/companies/wunderfund/articles/597939/ Алгоритмы и Структуры данных

Два сапога — пара, а три — уже community: как алгоритмы на графах помогают собирать группы товаров В этой статье мы обсудим кластеризацию на графах, задачу выделения сообществ, распад карате-клуба, self-supervised и unsupervised задачи — и как всё это связано с матчингом. https://habr.com/ru/companies/ozontech/articles/791684/ Алгоритмы и Структуры данных

Обучаем Java-разработчиков оплата после выхода на работу В Kata Academy можно выучиться на Java-разработчика бесплатно, а заплатить уже после трудоустройства по специальности из фактической зарплаты. Если задуматься, то все в выигрыше —Ты получаешь работу с хорошей зарплатой, мы получаем процент за инвестиции в тебя и продолжаем прокачивать твои навыки еще 2 года; — в наших интересах научить тебя так, чтобы твоя зарплата была как можно выше; — мы развиваем твои навыки и после курсов: проводим выездные мероприятия и мастер-классы — и доходы наших выпускников растут; — мы не зависим от банков и их рассрочек — кризис не повлиял на доступность курсов. Чтобы попасть на курс, нужно выполнить небольшое тестовое задание. Переходи по ссылке и оставляй заявку! Узнать больше #реклама kata.academy О рекламодателе

Криптография и генерация больших однозначно простых чисел — критерий Поклингтона В этой статье мы рассмотрим итеративный алгоритм по генерации больших однозначно простых чисел больше заданного порядка, который использует критерий Поклингтона. Алгоритм использует простое число меньшего порядка как минимум удваивая количество цифр для следующего шага. https://habr.com/ru/articles/594135/ Алгоритмы и Структуры данных

Как «волшебное дерево» помогает нам делать выбор Сегодня мы покажем инструмент, который помог избавиться от хардкода в одной из legacy систем. Он здорово облегчил жизнь разработчикам и команде сопровождения. Возможно, кто-то найдет в нашем тексте решение и своей похожей проблемы. Инструмент постараемся описать простым языком, без использования математических формул и заумных формулировок, ведь мы хотим продемонстрировать его практическое применение. Речь пойдет о аналитической подсистеме в CRM (далее по тексту просто «система»), которая отвечает за создание стратегии взаимодействия с потенциальным клиентом. https://habr.com/ru/companies/sovcombank_technologies/articles/597799/ Алгоритмы и Структуры данных

Adversarial suffixes или можно ли получить ответ на любой вопрос от LLM? Многие знают, что большие языковые модели (LLM), такие как ChatGPT, Bard или Claude, подвергаются тщательной настройке, чтобы не создавать вредоносный контент в ответах на вопросы пользователей. Поэтому пользователи создают так называемые «jailbreaks», специальные запросы, которые могут вызывать непреднамеренные ответы, их разработка требует значительных ручных усилий и может быть легко исправлена за короткое время ​​разработчиками LLM. В этой статье мы бы хотели поговорить о применении суффиксов из материалов, описанных на llm-attacks.org, к популярным open-source моделям и проверить наиболее популярные модели на устойчивость к потенциально опасным запросам. https://habr.com/ru/companies/raft/articles/790848/ Алгоритмы и Структуры данных

Каскадное шифрование редуцированным алгоритмом RSA Данная публикация была написана в результате применения общей идеи каскадирования, взятой из радиотехники, к широко известному теоретико-числовому алгоритму RSA, но, правда, в его облегченном (редуцированном) виде. Облегчение RSA компенсируется идеей каскадирования. Таким образом возник вариант методики улучшения криптостойкости RSA в противовес классическому удлинению ключа. Для предварительных исследований использовались возможности встроенной Big Integer арифметики языка Python, а также функция factorint(.) библиотеки SymPy, позволяющая раскладывать числа на простые множители https://habr.com/ru/articles/791326/ Алгоритмы и Структуры данных

Что нужно cделать, чтобы настроить рекламу в Директе? Шаг первый — 9 февраля в 12:00 прийти на вебинар, где Максим Миронов, эксперт по обучению Яндекс Рекламы, подробно расскажет, как запускать первое промо. Разберём всё — от регистрации в рекламном кабинете до анализа результатов рекламной кампании. Шаг второй — зарегистрироваться (это бесплатно) и присоединиться к трансляции. Увидимся в эфире! Зарегистрироваться #реклама 16+ yandex.ru О рекламодателе

Как работают коды Spotify — часть 2 В первой части мы разобрали общие технические принципы функционирования кодов платформы Spotify, и в завершении я написал, что неуверенность в некоторых деталях не позволила мне реализовать собственный конвертер штрихкодов в URI. Однако благодаря дополнительному исследованию и активной помощи от участников StackOverflow теперь я это преобразование выполнить могу. Текущая статья будет немного более технической, нежели предыдущая, поскольку здесь я постараюсь объяснить, как конкретно создаются коды Spotify. Для тех же, кто заинтересуется дальнейшим изучением темы, я перечислю в конце список полезных материалов. https://habr.com/ru/companies/ruvds/articles/594115/ Алгоритмы и Структуры данных

Откройте для себя все преимущества удалённой работы — начните изучать мир Data Science. Специалисты этой сферы нужны и в небольших стартапах, и в крупных корпорациях любых индустрий. На практике вы сможете поближе познакомиться с языками Python и SQL, нейросетями и визуализацией данных. Забудьте о затянутых лекциях и медленном старте в карьере. Мы знаем, как ценно время, поэтому предлагаем интенсивный мини-курс, который поможет быстро познакомиться с необходимыми навыками. 👉 Зарегистрируйтесь прямо сейчас и получите полезный материал «Как пользоваться ChatGPT и Midjourney»: https://epic.st/kTi-0- В программе: 📌 Профессии в Data Science и язык Python. 📌 ML Engineer — пишем нейросеть для подбора новостных статей. 📌 Data Engineer — знакомимся с языком запросов SQL. 📌 Data Analyst — учимся визуализировать данные. Кому полезен мини-курс: — Тем, кто хочет влиться в IT. Познакомитесь с одним из самых востребованных IT-направлений и узнаете, как начать работать в Data Science, в том числе удалённо. — Тем, кто интересуется Data Science. На практике познакомитесь с основными направлениями и выполните несколько практических заданий, чтобы решить, какая специальность вам ближе. Записывайтесь и получите доступ к знаниям в пару кликов! Реклама. ЧОУ ДПО «Образовательные технологии «Скилбокс (Коробка навыков)», ИНН: 9704088880

Алгебры процессов для бизнес-процессов на примере CCS: кофе-машина-теорема Формализация бизнес-процессов алгебраическими выражениями полвека будоражит умы математиков и методологов BPM (Business Process Management, ранее называемое CASE). Однако появление разнообразных алгебр процессов не добавили в практику BPM алгебраического формализма. Алгебра алгоритмов (алгоритмическая алгебра Глушкова [GLU78], включая формализацию параллелизма), Алгебра \ исчисление процессов (CCS \ pi-calculus, CSP, ACP и др.), «Исчисление функций» (УФО, [UFO14]) не позволяют говорить о формальной (математической) теории BPM, а также инструменте, применимым бизнес-аналитиком на практике, т.е. об Алгебрах \ исчислениях бизнес-процессов - как математических абстракциях, формализующих workflow \ docflow и другие составляющие бизнес-процессов (Алгебре \ исчислении workflow). https://habr.com/ru/articles/786286/ Алгоритмы и Структуры данных

Карты, деньги, два букета. Как мы пришли к собственному сервису доставки Сначала у нас было желание создать сервис со свободным входом людей, где каждый мог поработать курьером и заработать сумму на карманные расходы. Все просто: курьер регистрируется в приложении, указывает свое имя, присылает фото персональных данных и видео о себе. После нам требовалось время на модерацию, иногда до 3–4 дней. Успешное ее прохождение = уведомления о новых заказах. Подход выявил, что люди есть люди, у них бывают свои проблемы, которые часто лежат вне технической плоскости. Например, курьеры могли заболеть, пропасть в виду форс-мажоров или просто утилизировать подарок в ближайшей урне по своим личным причинам. Это помимо проблем языкового барьера и незнания карты города. https://habr.com/ru/companies/flowwow/articles/597739/ Алгоритмы и Структуры данных