Computer Science

Введение в методы оптимизации Методы оптимизации — это техники, направленные на поиск наилучших решений для различных задач. Эти методы применяются в математике, бизнесе, инженерии и даже в повседневной жизни. Оптимизация включает в себя нахождение максимума или минимума некоторой функции при определенных ограничениях. Это может быть как минимизация затрат, так и максимизация прибыли. Пример из бизнеса: • Задача: Как оптимизировать рекламную кампанию для максимизации продаж при ограниченном бюджете? • Решение: Можно использовать методы оптимизации для нахождения наилучшего распределения бюджета между различными рекламными каналами (например, Google Ads, соцсети, телевизионная реклама). В следующих постах рассмотрим несколько популярных методов оптимизации, которые можно применить в различных сферах.

5. Канал с шумом и теорема Шеннона Одним из ключевых результатов теории информации является теорема Шеннона о канале с шумом. Она утверждает, что для каждого канала с шумом существует так называемая предела пропускной способности канала (C), которая определяет максимальное количество информации, которое можно передать через этот канал без ошибок, при использовании оптимальных кодов. Пример: при передаче данных через интернет канал может иметь предел пропускной способности, например, 10 Мбит/с. Если на канале имеется шум, то из-за ошибок, которые могут возникнуть в процессе передачи, эффективная скорость передачи может быть ниже этого предела. Таким образом, теорема Шеннона предоставляет математическое обоснование для разработки более эффективных методов передачи информации, а также позволяет учитывать влияние шума и потерь данных.

4. Код Шеннона-Фано и Хаффмана Одним из способов эффективного кодирования является использование алгоритмов Шеннона-Фано и Хаффмана, которые создают префиксные коды для символов с учётом их вероятности. Код Шеннона-Фано: этот алгоритм делит набор символов на две группы таким образом, чтобы сумма вероятностей в каждой группе была как можно более равной. Каждой группе присваиваются соответствующие префиксные коды. Код Хаффмана: алгоритм строит дерево, где более вероятные символы размещаются ближе к корню, а менее вероятные — дальше. Этот метод всегда даёт оптимальное решение с точки зрения минимизации средней длины кода. Пример: Если у вас есть текст, в котором часто встречаются символы «a» и «b», и реже «c», код Хаффмана присвоит символу «a» более короткий код, а символу «c» — более длинный.

Только полезный контент для системных аналитиков! - Чек-лист вопросов, которые стоит задать на собеседовании с HR и руководителем/командой; - Шпаргалки по методам HTTP, по основным понятиям Kafka, по диаграмме классов, по элементам BPMN и другие; - Шаблоны артефактов системного аналитика с примерами; - Материалы по кэшированию, про интеграцию и архитектуру , протоколы, API, форматы данных JSON; - и очень много практической информации на канале Ольги Пономаревой. Подписаться #реклама 16+ О рекламодателе

3. Кодирование и сжатие данных Кодирование — процесс преобразования данных в определённый формат для их эффективной передачи или хранения. Важной задачей кодирования является уменьшение объёма данных без потери информации. Эту задачу решают различные алгоритмы сжатия данных, которые обеспечивают компактность данных, но при этом сохраняют их целостность. Пример: алгоритмы сжатия, такие как ZIP или JPEG, уменьшают размер файлов, удаляя избыточную информацию, но не теряя важные данные, которые позволяют восстановить оригинальный файл.

Энтропия как основа для сжатия данных: Теория информации утверждает, что наилучшее сжатие возможно, если кодировать символы с учётом их вероятности появления. Символы с высокой вероятностью должны кодироваться с меньшим числом битов, а менее вероятные — с большим числом битов. Это позволяет достичь оптимального сжатия данных.

Пример: если в тексте часто встречаются пробелы и буквы «е», то их можно закодировать с меньшим числом битов, а редкие символы, такие как «щ» или «ф», будут требовать большего количества битов.

Пример Энтропии, как меры неопределенности: Если мы подбрасываем честную монету, вероятность выпадения орел или решка равна 50%. Энтропия будет максимальной, так как оба исхода одинаково вероятны. 2. Канал передачи информации Канал — это средство, через которое передаются данные от источника к получателю. Канал может быть как идеальным, так и шумным. В идеальном канале информация передается без потерь и искажений. Однако на практике всегда присутствует шум — случайные помехи, которые изменяют или теряют часть данных. Это может происходить в электрических сигналах, радио или даже при передаче через интернет. Пример: при передаче текста через интернет могут быть потеряны некоторые символы из-за шума в сети, что приведет к искажению сообщения.

Изнанка PPC-трафика Недорогого и разнообразного интернет-маркетинга в России больше нет, за последние два года все сильно изменилось, но да вы и сами это знаете... Рассказываю на канале о том что рекламные площадки очень хотели бы скрыть и как выжить ppc-специалисту в эпоху новой реальности, залетайте) Смотреть #реклама О рекламодателе

Теория информации — раздел математики и информатики, который занимается количественной оценкой информации, её передачей и кодированием. Этот раздел был основан в середине 20-го века Клодом Шенноном, чьи работы стали основой для многих современных технологий, включая телекоммуникации, сжатие данных, криптографию и многое другое. Здесь и далее будет приведено несколько ключевых понятий и аспектов теории информации: 1. Информация и энтропия Информация — то, что уменьшает неопределенность. В контексте теории информации информация измеряется в битах. Энтропия (H) — мера неопределенности или неопределенности системы. В информационном контексте энтропия определяет, сколько информации нужно для того, чтобы описать выбор одного из возможных исходов. Чем больше возможных исходов, тем выше энтропия. Энтропия для дискретного случайного события 𝑋 с вероятностями 𝑝₁, 𝑝₂, ..., 𝑝𝑛 вычисляется по формуле: H(X) = −Σ [𝑛, ᵢ₌₁] (pᵢ log₂(pᵢ)) где 𝑝𝑖 — вероятность 𝑖-го исхода, а сумма берется по всем возможным исходам. Энтропия измеряется в битах, если логарифм вычисляется по основанию 2. Это связано с тем, что каждый бит представляет собой двоичный выбор между двумя возможными состояниями.

Библиотеки и фреймворки для ИИ в Linux Linux предлагает широкий выбор библиотек и фреймворков для разработки ИИ: 1. TensorFlow Один из самых популярных фреймворков для машинного обучения. Он используется для создания, тренировки и развертывания моделей ИИ, включая нейронные сети. 2. PyTorch Используется для научных исследований и разработки ИИ-приложений. PyTorch отличается гибкостью и удобством, особенно для проектов, требующих высокой кастомизации. 3. Keras Высокоуровневый API для нейронных сетей, работающий поверх TensorFlow, который делает разработку моделей ИИ более доступной и понятной. 4. OpenCV Библиотека для компьютерного зрения. Используется для обработки изображений и видео в реальном времени, а также для распознавания объектов и лиц. 5. scikit-learn Платформа для обучения алгоритмам машинного обучения, предоставляющая большое количество инструментов для анализа данных и построения моделей.

Аппликативный порядок вычислений Аппликативный порядок вычислений - это порядок вычислений, при котором аргументы функции вычисляются перед самой функцией. Он также называется "строгим" порядком вычислений. Например, если есть выражение: f(x) + g(x) то при аппликативном порядке вычислений сначала вычисляются значения x, а затем функции f и g, после чего производится сложение. То есть, сначала выполняется f(x), затем g(x), и только после этого выполняется сложение. Аппликативный порядок вычислений часто используется в языках программирования, таких как С или Pascal.

• infosec - один из самых ламповых каналов по информационной безопасности, где говорят об истории ИТ, публикуют актуальные новости и пишут технический материал по разным темам: - Как зарождалась Флибуста? - Сервисы для обеспечения безопасности в сети; - Каким образом "компьютерные мастера" обманывают своих клиентов? - Бесплатный бот, который проверит файлы на предмет угроз более чем 70 антивирусами одновременно. • А еще у нас часто проходят розыгрыши самых актуальных и новых книг по ИБ. Так что присоединяйся, у нас интересно!

Алгоритмы сортировок Самая частая тема, которую спрашивают на собеседованиях. Рассмотрим, какие есть и их сложность по времени. Подробно как они работают, по ссылкам в соответствующих постах.  1. Сортировка пузырьком  Худшее время - O(n^2) | Лучшее время - O(n) 2. Сортировка выбором Лучшее время O(n^2) | В cреднем - O(n^2) | Худшее время - O(n^2) 3. Сортировка подсчётом Сложность оценивается как O(n + k), где n — количество элементов, k — диапазон значений. 4. Поразрядная сортировка В лучшем случаи: O(n) | В худшем: O(n*k) 5. Bucket sort Наименьшая и средняя сложность (O(n)) 6. Сортировка Шелла В лучшем случаи: O(n) | В cреднем: O(n (logn)^2) | В худшем: O(n log^2n) 7. Tim Sort В лучшем случаи: O(n) | В cреднем: O(n logn) | В худшем: O(n logn) 8. Блинная сортировка Лучший случай: O(n) | Средний случай: O(n²) | Худший случай: O(n²) 9. Сортировка перемешиванием  Худшее время - O(n^2) | Лучшее время - O(n) 10. Gnome Sort В лучшем: O(n) | В худшем: O(n^2) 11. Odd-Even Sort В лучшем: O(n) В худшем: O(n^2) 12. Сортировка расческой  Худшее время - O(n^2) | Лучшее время - O(n log n) 13. Сортировка вставками  Худшее время - O(n^2) | Лучшее время - O(n) или O(1) 14. Голубиная сортировка Время: O(n+range) 15. Циклическая сортировка Время: O(n^2) 16. Нитевидная сортировка В лучшем: O(n) | В худшем: O(n^2) 17. Битоническая сортировка Время: O(log^2n) 18. Stooge Sort Время: O(n^(log3/log1.5)) 19. Бисерная сортировка Время: O(n^2) 20. Топологическая сортировка Время: O(V + E) 21. Быстрая сортировка  Худшее время - O(n^2) | Лучшее время - O(n log n)  22. Сортировка слиянием  Худшее время - O(n log n) | Лучшее время - O(n log n)  23. Пирамидальная сортировка  Худшее время - O(n log n) | Лучшее время - O(n log n) или O(n)

Хочешь узнать все самые интересные фишки в DevOps? Подписывайся на Telegram-канал DevOps Bootcamp от учебного центра Слёрм и забирай подарок! Для тех, кто собирается в DevOps ы разработали свой Roadmap на основе опыта спикеров Слёрма. Он сделан с учётом российских реалий, разбит на уровни, фокусирует внимание на том, что в первую очередь понвдобится для старта и роста в профессии, и содержит ссылки на дополнительные источники. Подписаться #реклама 16+ slurm.io О рекламодателе

Инструменты для управления политиками безопасности Эти инструменты помогают контролировать соблюдение политик безопасности в процессе разработки и эксплуатации. • OPA (Open Policy Agent): Открытый агент для управления политиками, который можно интегрировать в разные этапы DevOps-пайплайнов. • Kubernetes RBAC: Управление доступом на основе ролей (Role-Based Access Control) в Kubernetes для контроля безопасности. Эти инструменты ([1], [2], [3], [4], [5], [6], [7], [8], [9]), в сочетании с процессами DevOps и практиками безопасности, помогают создавать безопасные и надежные программные решения, снижая риски и улучшая общую безопасность на всех этапах разработки и эксплуатации.

Инструменты для управления уязвимостями Эти инструменты помогают отслеживать и управлять уязвимостями на всех этапах разработки и эксплуатации. • Snyk: Платформа для мониторинга уязвимостей в зависимостях и контейнерах, а также в инфраструктуре как код. • Dependabot: Инструмент от GitHub, который автоматически создает pull-запросы для обновления зависимостей, когда обнаруживаются уязвимости. • WhiteSource: Платформа для управления безопасностью open-source компонентов, включая их уязвимости и лицензионные проблемы.

Помощь в трудоустройстве в IT-сфере! В России из-за дефицита айтишников запустили бесплатную программу по обучению IT-специалистов. Теперь любой желающий может попробовать себя в IT с полного нуля и начать обучение бесплатно! Узнайте про дальнейшее трудоустройство в ведущие IT-компании для восполнения кадрового дефицита. Для этого нужно: - Перейти по ссылке - Заполнить анкету и ответить на вопросы (занимает менее 3 минут) - На основании ваших ответов вы сразу узнаете, подходит ли вам сфера IT и сможете ли вы в ней работать Перейти на сайт #реклама 16+ urban-university.ru О рекламодателе

Инструменты для управления "секретами" и идентификацией Эти инструменты обеспечивают безопасность хранения и обработки секретов, таких как пароли, ключи API и другие чувствительные данные. • HashiCorp Vault: Решение для управления секретами и чувствительными данными, позволяющее безопасно хранить и контролировать доступ к ключам и конфиденциальной информации. • CyberArk: Платформа для управления привилегированными доступами и секретами. • AWS Secrets Manager: Сервис для управления и автоматической смены секретов, таких как API-ключи и пароли в AWS.

Инструменты для автоматизации CI/CD с учетом безопасности Эти инструменты интегрируют безопасность в процесс CI/CD, автоматически выявляя и устраняя уязвимости на всех этапах разработки. • Jenkins (с плагинами безопасности): Популярный инструмент для автоматизации CI/CD, который поддерживает различные плагины для тестирования безопасности. • GitLab CI/CD (с интеграцией безопасности): Платформа для DevOps, которая позволяет интегрировать процессы безопасности в пайплайны. • CircleCI: Платформа для автоматизации CI/CD, которая может быть настроена для выполнения проверок безопасности. • GitHub Actions: Инструмент для автоматизации рабочих процессов на GitHub, поддерживает интеграцию с инструментами безопасности.

Инструменты для сканирования уязвимостей контейнеров и образов В DevSecOps важен контроль за безопасностью контейнеров и образов, так как они широко используются в процессе CI/CD. • Aqua Security: Платформа для безопасности контейнеров, Kubernetes и облачной инфраструктуры. • Anchore: Инструмент для анализа и проверки Docker-образов на наличие уязвимостей. • Trivy: Инструмент для сканирования контейнеров и облачных сервисов на наличие уязвимостей. • Clair: Проект с открытым исходным кодом для анализа безопасности Docker-образов.

Школьник + бесплатные курсы по ИТ = новые возможности Хотите прокачать мышление, научиться решать задачи по математике и информатике и познакомиться с ИТ? Бесплатные курсы для школьников в этом помогут. Занятия включают теорию и практические задачи, а само обучение не будет отнимать много времени - нужно 2-3 часа в неделю. После успешного прохождения одного из курсов вам выдадут сертификат - им можно пополнить портфолио. Чтобы начать учиться, выберите подходящую программу и оставьте заявку на сайте Т-Образования. Подать заявку #реклама 16+ education.tbank.ru О рекламодателе