Elastic Stack recipes

How to Migrate from Elasticsearch to OpenSearch Если по каким-то причинам вы решили отказаться от бесплатной версии Elastic, либо лишились возможности продлить подписку, то, скорее всего, уже рассматриваете OpenSearch. Основное очевидное преимущество — возможность штатной интеграции c AD. Остальные преимущества, на наш взгляд, весьма спорны. Но если рассматриваете — вот неплохой гайд.

​У ELK’и иголки колки: минимизируем потерю сообщений в Logstash, следим за состоянием Elasticsearch Интересная статья на Хабре о persistent queue — возможности Logstash скидывать данные на диск при невожности их передать.

​И немного о настройке интеграции Elasticsearch с SQL Server Let’s Data Transfer from Sql Server to Elasticsearch using Logstash With this article, I will try to explain how we can get data from Sql Server to Elasticsearch using Logstash on windows. https://link.medium.com/FObfyOyo3ob

​В принципе, даже понятно почему так часто бывают утечки из кластеров Elasticsearch. Обратите внимание, при разворачивании Elasticsearch в docker-контейнерах, если ничего не сделать, docker залезет в ваш iptables и откроет доступ к порту 9200 из внешней среды. Это не очень страшно если ваш сервер во внутреннем контуре, но если во внешнем, рано или поздно ваш открытый кластер будет обнаружен. Синк эбаут ит. Вот парочка статей на тему: Be careful with Docker ports! Securing Your ElasticSearch Instances

Synonym Search in Elasticsearch and Alternatives — поиск синонимов в Elasticsearch. Ссылка.

Рубрика «Удивительное рядом». И никто не знает чей. И как там появляются новые записи. Эксперты обнаружили сервер Elasticsearch с содержимым СМС-сообщений от сервисов и банков, включая «Тинькофф» и «Озон» В сети Интернет с 1 апреля 2022 года находится в открытом доступе сервер Elasticsearch, в индексе которого содержатся СМС-сообщения от различных российских и зарубежных сервисов и банков. Читать дальше.

Investigate Log4Shell exploits with Elastic Security and Observability — в этой статье в блоге Elastic пример реализации поиска уязвимости Log4Shell при помощи модулей Observability и Security. Эти модули доступны и в бесплатной версии Elastic, поэтому использовать их можно совершенно свбодно. В связи с приостановкой поставок в РФ таких известных APM-решений как Appdynamics или Dynatrace, возможности Elastic APM будут как нельзя кстати.

​Migrating MySQL Data to ElasticSearch Using Logstash Подход к миграции из MySQL в Elasticsearch для повышения скорости поиска по данным. Ссылка.

Elastic 8.0: A new era of speed, scale, relevance, and simplicity Ждали, ждали и дождались. Что нового?

16-18 февраля проведем 3-дневный вводный курс по работе с Elastic Stack. Мы добавили в курс разделы с конвертированием SQL в DSL, нагрузочное тестирование кластера Elastic при помощи утилиты Rally, работы с задачами машинного обучения и SIEM. После прохождения курса вы будете уметь разворачивать защищенный кластер, настраивать обработку различных данных, создавать визуализации в Kibana, рассчитывать сайзинг и многое другое. Курс — это как ракета-носитель, которая за 3 дня выведет вас на заданную орбиту. Вы сможете сразу приступить к работе вместо долгого изучения документации по каждому из компонентов Elastic Stack. Подробная программа, условия и на нашем сайте. Вопросы можно задать @galssoftware

​How to Quickly Setup an ELK Stack and Elastic Agent to Monitor macOS Event Data Читать на Медиуме.

Короткая статья об опыте обновления 10 нод Elasticsearch. Полезно на волне новостей об уязвимостях log4j.

Короткая статья о нечетком поиске в Elasticsearch https://medium.com/@vipulkumar_36528/fuzzy-query-in-elastic-search-393c8db7c496

ElasticSearch — как мы делали свою речевую аналитику Мы в TQM используем Elastic потому, что он гибкий, широко известный, имеет удобный и простой синтаксис, множество библиотек для работы как на Python, так и на C# (NEST). Хорошо скейлится под наши объемы (1—30 Тб).Kibana также очень удобна, мы используем ее для мониторинга, консоль Kibana применяем для запросов. А еще по сравнению с тем же Sphinx, Elastic удобно масштабировать (просто добавляем шарды, ноды, и он сам распределяет данные по ним). В случае с тем же Sphinx нам пришлось бы писать этот распределенный поиск самим, и не факт, что у нас получилось бы хорошо с первого раза. На Хабр!

Как мы логшипим в Elasticsearch и что думаем о Filebeat Привет, я - Эдгар, backend-разработчик личного кабинета МегаФон, поделюсь решением проблемы log shipping-процесса в централизованное хранилище Elasticsearch, которое мы нашли вместе с командой. На Хабр!

EPAM приглашает Data и DevOps-специалистов уровня Middle+ принять участие в Data&DevOps Hiring Weeks и стать частью команды EPAM. Регистрация уже открыта: epa.ms/devops-hw-tg-27 ⠀ Что дает участие в Hiring Weeks? ⠀ ✅Оффер в течение 48 часов ✅Welcome-бонус в размере оклада, если вы примете оффер в течение 7 дней ✅Можно выбрать удобную дату выхода в EPAM ⠀ В числе клиентов EPAM крупнейшие международные фармацевтические и биофармацевтические компании, розничные сети и телекоммуникационные компании. Кандидатам предстоит решать масштабные задачи и использовать современный технологический стек. Узнать более подробную информацию о проектах и вакансиях вы можете на сайте ⠀ Что еще мы предлагаем? 📌Прозрачные условия карьерного роста: матрицы компетенций, фидбэк-сессии, ассессмент 📌Бенефиты: доступ к 1700+ курсов и тренингов, бесплатные курсы английского, ДМС со стоматологией с первого дня работы 📌Профессиональные комьюнити 📌Возможность релокации в 35+ стран ⠀ Регистрируйтесь прямо сейчас тут👉epa.ms/devops-hw-tg

​Только Elastic Stack и ничего лишнего Приглашаем на ближайшее 3-дневное обучение Elastic Stack. Обучение будет проходить 20-22 декабря в онлайн-формате через Zoom. Каждый день обучения состоит из блоков теории и практики. Мы пройдем путь от установки отказоустойчивого кластера Elasticsearch до настроек продвинутых визуализаций в Kibana, разберемся с сайзингом кластера, настроим оповещения, создадим снэпшоты на хранилище S3 и отключим одну из нод, чтобы увидеть что произойдет с кластером. На курсе также подробно разбирается тема Index Lifecycle Management (ILM). Для лабораторных работ мы подготовили интересные датасеты с хитами чарта Rolling Stones, героями игры Heroes of Might and Magic 3 и другими. За 3 дня вы научитесь проектировать и разворачивать отказоустойчивый кластер Elasticsearch, создавать информативные визуализации в Kibana и формировать комплексные ingest-pipelines. Подробная программа курса на нашем сайте. Места ещё есть.

​Lamoda интересно рассказывает об устройстве своего поиска. Вы «продоете теплых кросовок»: ищем идеальную пару обуви с помощью Elasticsearch В этой статье мы расскажем: ⚡️ что находится «под капотом» поиска в Lamoda; ⚡️ как мы понимаем пользователей и разбираем поисковые запросы; ⚡️ как обогащаются атрибуты товаров и по какой логике формируется запрос к Elasticsearch; ⚡️ над чем работаем сейчас и какие есть планы на будущее. Читать дальше на Хабре.

Elasticsearch Indexing Strategy in Asset Management Platform (AMP) В блоге Neflix рассказывают как они работают с 7Тб хранилищем.