Дневник разработчицы

Мои конспекты в Xmind. Они постоянно дополняются и развиваются. Всем рекомендую эту программу, удобно конспектировать, удобно возвращаться к необходимой информации.

Продолжая тему rss и асинхронных задач в django. История про aiohttp и django3.1. Изначально в проекте я сделала логику, в рамках которой периодически запускалась задача на парсинг одной rss-ленты (не чаще, чем раз в минуту). Все мои 140+ rss обходились за 7-12 минут. В принципе, результат был более ли менее. Но потом я начала изучать asyncio и решила попробовать как оно будет работать с rss. Переделала логику https://pastebin.com/uUheywAE Задача на парсинг также запускает через celery, как и раньше. Но только запускаю я ее раз в 30 секунд. Получение данных, парсинг и сохранение в бд выполняется за 5-20 секунд (как правило, не все rss сразу). Теперь все rss обрабатываются в течение 2 минут. Не все rss одинаково классно проходят с помощью этого метода. Некоторые падают по таймауту (единицы). Ради них пришлось оставить старый метод, который добирает остатки необработанных rss. Хочется выделить курс https://www.udemy.com/course/bestpython/, где автор довольно подробно разобрал тему многопоточности в Python. Хотя, признаю, далеко не все понято с первого раза. Но завтра будет лучше...

Недавно в своем проекте поженила асинхронный telethon с django3.1. Авторизацию сделала на коленке через админку. Честно, понимаю, что можно было бы нормально через view с шаблончиками, но не хотелось заморачиваться. Поэтому сделала очень примитивно с помощью логики, зашитой в обработку полей после сохранения нового объекта https://pastebin.com/SJSwhNYG Жутенький код, конечно, но он работает. Локально все заработало прекрасно. Я авторизовала несколько клиентов, запустила их, начала получать от них сообщения (с помощью другого метода). После деплоя на сервер от aws (я использую elastic beanstalk на базе docker linux) я столкнулась с тем, что, судя по логам, код отправляется, телеграмм возвращает корректный ответ на запрос отправки кода, но вот до пользователя он не доходит. И я такая не одна, судя по гуглу. Создатель библиотеки предлагает создавать сессии локально и загружать их на сервер. Я так и сделала, конечно, в итоге, но это ужасно неудобно.( Вот описание проблемы на стаковерфлоу https://stackoverflow.com/questions/61293179/code-is-not-delievered-by-sendcoderequest-without-error-and-this-happens-only-on

В одном из моих проектов есть функционал сбора новостей из разных rss-каналов. Да, rss все еще живы. Я обрабатываю более 140 источников. Тут наткнулась на сайт https://sledcom.ru, увидела у них rss, но, видимо, не судьба... Все мои попытки достучаться до них были обречены на провал. В браузере все открывается ок, на сертификат нареканий нет, а вот при запросе через requests падает ошибка [SSL: WRONG_SIGNATURE_TYPE]. Все мои попытки отключить валидацию сертификата были провальными. Мои попытки и ошибка: https://pastebin.com/DXnFZidT Такие дела.