Вакансия

  • Москва
  • 5-ти дневная рабочая неделя
  • Полная занятость
  • Офис

Python Developer (Dagster, Big Data)

Информационные технологии — поддержка, администрирование

  • Москва
  • 5-ти дневная рабочая неделя
  • Полная занятость
  • Офис

В компании большое количество сложных и зачастую трудоемких процессов, которыми невозможно управлять вручную либо можно частично или полностью автоматизировать, минимизировав ручной человеческий труд. Большинство таких процессов реализованы в разных сервисах, на разных языках, имею разные зависимости и требуют разное количество вычислительных ресурсов, но зависят друг от друга, являясь частью одного большого пайплайна.

Для оркестрации этих пайплайнов используется Dagster - инструмент, позволяющий разрабатывать пайплайны любой сложности, будь то обработка гигантских объемов данных, генерируемых нашими беспилотниками, или же простенькая периодическая задачка, о которой сейчас приходится постоянно себе напоминать.

Целью проекта является разработка инструмента, отвечающего техническим и инфраструктурным требованиям команд всей компании.

Кого мы ищем

Мы ищем Python developer~a, который поможет нам реализовать самые амбициозные задачи. Результаты твоей работы будут напрямую влиять на скорость развития беспилотников.

Классы задач, которые необходимо будет выполнять

  • Интеграция Dagster c KeyCloak для авторизации и построения полноценного RBAC, разработка механизмов для взаимодействия с KeyCloak через Starlette поверх GraphQL;
  • Доработка интеграции с k8s, разработка log driver'а для прокидывания логов из контейнеров, запущенных третьей стороной;
  • Разработка механизмов отправки телеметрии всех выполняющихся операций в Dagster для мониторинга. Разработка дашборда в metabase с метриками, разработка хуков для оповещений;
  • Доработка инструментов локальной разработки с использованием miniKube, полная имитация поведения сервиса на дев/прод стендах в локальной среде;
  • Разработка тестов и тест-пайплайнов для end-to-end и нагрузочных тестов совместно с QA;
  • Полный рефакторинг механизмов партицированных джобов, разработка мультипартиций, позволяющий объединять, фильтровать и запускать джобы по N-му кол-ву партиций;
  • Оказание поддержки смежным командам по переезду кодовой базы на Dagster. Разработка новых ресурсов под требования разных сервисов, необходимые для их переезда.

Наш стек: Python, Dagster, SQL, Starlette, GraphQL, React, Docker, S3

Необходимый минимум

  • Опыт коммерческой разработки на Python от 3 лет;
  • Знание сильных сторон и особенностей Python;
  • Хорошая алгоритмическая подготовка, понимание классических алгоритмов и структур данных;
  • Умение выбирать абстракции и писать понятный и поддерживаемый код;
  • Опыт работы с SQLAlchemy;
  • Опыт работы с Docker.

Будет плюсом

  • Опыт разработки на с++;
  • Опыт работы с ETL-фреймворками (Airflow, Dagster, etc.);
  • Опыт работы с Kubernetes;
  • Опыт написания компонентов на React;
  • Опыт проектирования и разработки распределенных отказоустойчивых систем.

Мы ценим своих сотрудников и предлагаем

  • Крутой технологический домен;
  • Работу в ИТ-аккредитованной компании;
  • Работа в команде топовых разработчиков, возможность разрабатывать уникальные и крупные проекты масштаба нашей страны;
  • Конкурентные условия труда (белая индексируемая заработная плата, оклад+годовая премия);
  • График работы – стандартный, но с гибким подходом к началу/окончанию рабочего дня. На период онбоардинга - офисный формат;
  • Доступ к огромным возможностям повышения квалификации в СберУниверситете и Виртуальной школе, а также к другим формам обучения;
  • Возможность посещения (как в качестве слушателя, так и в качестве выступающего) всероссийских и международных конференций;
  • ДМС со стоматологией для сотрудников с первого дня и скидки на медицинскую страховку для родственников;
  • Обеды для сотрудников, бесплатный кофе и другие напитки в кафетерии;
  • Зарплатный проект, бесплатная подписка Сберпрайм+, субсидия на ипотеку и другие продукты Экосистемы Сбера на особых условиях;
  • Широкий спектр дисконт–программ, скидок и привилегий от компаний-партнеров;
  • Возможность уже сейчас использовать беспилотный транспорт, чтоб добраться до работы от МЦК ЗИЛ.
300

лучших специалистов, имеющих опыт работы в ведущих компаниях сразу двух рынков: IT и Automotive

С помощью гаджетов люди научились управлять самым главным ресурсом — временем. Финансы, развлечения, бронирование билетов и многое другое теперь доступно в один клик. Настало время превратить в удобный гаджет и автомобиль. Взаимодействие с ним станет интуитивно понятным и комфортным, а вождение — беспилотным. Так люди получат больше свободы, а города — гибкую логистику для доставки товаров и грузов.

Мы — команда Sber Automotive Technologies. Мы создаём безопасное беспилотное будущее