data будни

ребята из «Кружка» ездят по глубинке и показывают детям «другую жизнь»: как работают компьютеры, что есть такой интернет, как можно там что-то делать. Для детей это действительно больше дело — говорю как выросший в небольшом городе. Послушайте подкаст или почитайте про ребят на сайте. Это большое и важное дело. https://kruzhok.io/ Не знаю, как ребята это всё успевают в довесок к основной работе. Не могу пройти мимо — оформил ежемесячный взнос.

Это такая базовая гигиена, можно просто по шагам делать и получится лучше, чем было.

Как улучшить таблицу или график. Часто приходится отправлять эти видосы кому-то. Выложу сюда.

В каждой своей гугл таблице делаю так. И в чужих стараюсь тоже)

У меня есть две огненные вакансии про BI и Табло в Яндекс. 📈 BI-аналитик в Яндекс Go Это новая позиция для Яндекса. Ищем человека, который хочет быть на стыке аналитики и визуализации. Вашей задачей будет развивать отчётность большого направления — аналитики приложений Яндекс Go. Необходимо разрабатывать стратегию развития отчётности, собирать данные и делать классные отчёты. Больше всего задач именно про дашборды, но придется готовить и данные. Вы не будете делать все-все дашборды для подразделения, но будете внутренним центром экспертизы по визуализации и Табло внутри команды продуктовой аналитики. Я же буду помогать вам советами и менторством. Позиция уровня мидл/джун. Нужны классные навыки создания отчётов, сильный SQL, питон как преимущество. Руководитель — Андрей Кармацкий, которого я считаю нереально крутым специалистом по визуализации и сложным аналитическим инструментам. Описание вакансии на сайте 📊 Эксперт по визуализации в Маркет Это позиция уровня тим-лида или мидла, готового к росту. В Маркете есть большая установка Табло и необходимо создать центр компетенций по визуализации. По сути, такая же позиция как у меня в Такси — нужно управлять BI-системой как продуктом. При этом на первом этапе нужно сделать примеры классных отчётов руками, провести обучение, наладить процессы организации контента на сервере, создать задачи на развитие инфраструктуры. Здесь понадобятся как сильные навыки управления проектами и постановки целей, так и отличные знания визуализации и Табло. Моя команда на первом этапе поможет с примерами того, как это построено у нас. Руководитель — Максим Левко, отвечающий за развитие DWH и инфраструктуры аналитики в Маркете. Описание вакансии на сайте Обе позиции в Москве, но с крутым кандидатом готовы обсудить и другие города. Зарплата обсуждается после интервью. В Яндексе классный соц. пакет, приятные коллеги, премии, опционы и просто интересно. Присылайте мне в личку CV и небольшой рассказ про себя, смогу разместить вас в рекомендательной системе, или откликайтесь на сайте. Готов ответить на вопросы — @rbunin #вакансия

Them: Can you just quickly pull this data for me? Me: Sure, let me just: SELECT * FROM some_ideal_clean_and_pristine.table_that_you_think_exists https://twitter.com/sethrosen/status/1252291581320757249

И ещё пост главного по экспериментам из YELP о том, что все роли хороши и всех надо уважать и ценить. «Дата саентист» — это не следующая ступень развития аналитика. И вообще не надо всех подряд называть «дата саентистами». https://www.linkedin.com/posts/eric-weber-060397b7_data-datascience-activity-6754417602614882304-_37T/

красивая картинка оттуда про разделение труда в работе с данными

Тред про роли в data отрасли https://twitter.com/dsunderhood/status/1352239176817778691

Недавно на проекте пригодилась information schema. Надо было сделать технический аудит существующей базы данных: проверить все таблицы и их колонки. В заметке ещё несколько полезных знаний о PostgreSQL: ⁃ количество таблиц в базе ⁃ размер таблицы ⁃ активные подключение к базе ⁃ удаление дубликатов в таблицах без primary key https://tproger.ru/translations/useful-postgresql-commands/

Смена тарифа по-людски Код пишу в PyCharm; он платный — каждый месяц абонентская плата. Есть два тарифа: 1. только PyCharm за $9 и 2. все продукты за $25. Все продукты мне не нужны, я пользуюсь одним, поэтому мой выбор очевиден. В очередной месяц обнаруживаю списание $25 вместо $9. Иду в настройки — а там почему-то выбран второй тариф. Странно, но ладно. меняю тариф ручками. Обидно конечно, но чё поделать. Типа этот месяц «шикую» — могу официально пользоваться всеми IDE сразу)) а через месяц они уже поменяют тариф на более простой и будут списывать 9€ как и должны. (Таким же образом я недавно менял тариф на интернет например: в личном кабинете изменил сейчас — а по факту скорость поменяется только в следующем месяце) На моё удивление, смена тарифа произошла мгновенно — не пришлось ждать месяц. Деньги, конечно же, не вернули: просто рястянули мой «простой» тариф почти на три месяца. Мне нравится такой подход. По-хорошему, так и должно всё работать. Почему интернет-провайдер ждёт месяц, чтобы изменить в свой базе настройки мой скорости? Скорее всего ни почему — просто «так сложилось». Зачем морочиться и писать лишний код?

Читаю заголовок новости «Облачный провайдер дал клиенту 24 часа на „выселение“». Оставлю в стороне политику, интересует только техническая сторона. Сам я напрямую с облаками много не работал, поэтому позволю себе очень глупые вопросы. Как продавайдер знает, что вот конкретно эта компания пользуется его облаком? Он же по идее не читает его напрямую. Он может только посмотреть заключён ли договор с этим юрлицом. Или как это работает? А можно как-то «анонимизировать» клиента в облаке? Типа заключить договор через какую-то компанию-прослойку там. Или пойти дальше: вот есть же Hadoop — насколько я понимаю, это система распределённого хранения файлов. Нельзя сделать такое же, только для облаков? Чтобы все файлы хранились не на одном облаке, а много где — либо на нескольких аккаунтах одного облака, либо даже на нескольких разных облаках? Если разбираетесь, расскажите в комментариях, почему так не делают.

Супер история о том, как Амазон чуть не умер и переехал с серверов Sun на Linux. Это — история зарождения Amazon Web Services — облака, на котором сегодня работает добрая половина интернета. Рассказывает один из непосредственных участников. Самые впечатляющие моменты: ❧ в 2000 лопнул пузырь доткомов — технические компании обесценились в сотни раз, на фондовом рынке кончились деньги и Amazon начал жечь собственные средства — 1 миллиард долларов в год; самой крупной статьей расходов были серверы — их делал Sun, они стоили дорого; ❧ можно было перекупить серверы Sun у компаний, обанкротившихся на пузыре доткомов, но техдир Амазона пошел ва-банк — решил переехать с Sun на обычное железо Hewlett Packard на Линуксе; ядру лунукса тогда было всего 6 лет; ❧ на время переезда они остановили ВСЮ продуктовую разработку! ВСЕ занимались только переездом. В бэклоге лежали сотни функций для увеличения продаж, но все ждали, пока закончится переезд; ❧ заморозка развития сервиса привела к падению продаж → пришлось повышать цены на товары → продажи упали ещё сильнее, запустилась «спираль смерти»; ❧ у Амазона оставалось буквально несколько кварталов до смерти, когда деньги на счету кончатся, но они успели и запустили всё нормально, стоимость масштабирования инфраструктуры упала на 80%; ❧ продажи — сезонный бизнес и Безос придумал, почему бы не сдавать простаивающие серверы в низкий сезон другим компаниям? На презентации он привел аналогию с электрической сетью — в 1900 годы каждый завод строил свою собственную электростанцию, почему бы не сделать «электрическую сеть» для IT? Плюс это круто сочеталось с его идеей разделить команды внутри компании, чтобы команды могли развиваться самостоятельно — каждая команда стала независимым API. Ну а дальше вы знаете. Сегодня Амазон — это не только интернет-магазин, но и одна из крупнейших IT компаний планеты. https://twitter.com/DanRose999/status/1347677573900242944

Кем работать, если нравится визуализация данных Роман Бунин перечислил несколько профессий, где платят за умение визуализировать данные: что делать, сколько платят, насколько востребованы. Будет удобно тем, кто ещё только присматривается к отрасли (и любит визуализировать данные). http://revealthedata.com/blog/all/kem-rabotat-esli-nravitsya-vizualizaciya-dannyh/ Там же есть ссылки на чумовые инструменты по анализу вакансий и зарплат на основе API Хедхантер Общий анализ рынка аналитики https://revealthedata.com/examples/hh/ Быстрый анализ зарплат по профессии https://revealthedata.com/examples/vacancies/

Open AI поделился результатами своего исследования которое я никак кроме как магией назвать не могу – DALL·E, новая нейронка, продолжение идеи GPT-3 на трансформерах, но в этот раз для генерации изображений из текста. Я часто пишу тут про фантазию, мол, скормил Гарри Поттера нейронке и получил иллюстрации всех сцен книги – кажется это уже не фантазия, но поковырять самому пока ничего не дают. DALL·E нейронка с 12 миллиардами параметров, натренированная на парах картинка-текст, ее задачи: ✨ Синтезировать картинки по текстовому описанию ✨ Дорисовывать картинки имея часть на входе, с учетом текстового описания Open AI уже тезерил какие-то вещи в этой области раньше, и вот наконец-то это вышло на такой уровень, что челюсть отпадает, посмотрите примеры что я приложил, вверху текст какой давали на входе. Уверен, ей пока не дадут поиграться всем. Предвижу, это исследование сильно повлияет на многие сферы и индустрии, так как это бесконечные сферы применения. Тут подробнее: https://openai.com/blog/dall-e/

Дата-хакатон по анализу данных от российских судов, полиции и законодателей с 23 января по 7 февраля https://coda.io/@ovdinfo/hackathon-with-memes

Пятничное: ребята из ClickHouse загрузили в базу кучу статистики про GitHub и сделали кучу готовых запросов, очень много рассказывающих про культуру и опенсорс вцелом. Если вас интересует эта тема - обязательно посмотрите, много неожиданных открытий. Например теперь понятно, какая компания делает самый популярный опенсорс. Или какой контент на гитхабе самый популярный вообще https://gh.clickhouse.tech/explorer/