Big Data Engineer

Санкт-Петербург

Мы ищем Big Data Engineer, чтобы помогать JetBrains извлекать максимальную пользу из данных, которые мы собираем через наши продукты. Задача этого инженера будет заключаться в создании и развитии надежной, безотказной и удобной инфраструктуры данных.

В нашей команде ты будешь заниматься следующим:

  • Проектировать, реализовывать и обслуживать инфраструктуру конвейера данных;
  • Обеспечивать надежность инфраструктуры и данных в режиме «24/7» путем автоматизации тестирования и мониторинга конвейера данных;
  • Создавать и оптимизировать ETL и SQL-запросы;
  • Содействовать развитию высокой культуры работы с данными в нашей компании;
  • Снабжать команду продукта результатами обработки данных, имеющими практическую ценность.

Мы хотим видеть тебя в нашей команде, если ты:

  • Работал(а) с технологиями обработки больших данных, такими как SQL, Spark, MapReduce, Hadoop и т. д.
  • Создавал(а) безотказной и надежной инфраструктуры данных
  • Можешь писать качественный код.

Мы будем особенно рады дополнительному опыту в следующих областях:

  • Работал с AWS, Google Cloud или другой облачной платформой;
  • Опыт применения DevOps практик на предыдущем месте работы.

Подробнее о нашем конвейере данных:

  • Инфраструктура работает на платформе AWS и конфигурируется с помощью Terraform;
  • Обновления инфраструктуры автоматически развертываются через TeamCity и соответствующие задачи Gradle;
  • Обновления сначала развертываются в тестовом окружении, а переносятся в продакшен только после тестирования;
  • Код хранится в репозитории Git.

Откликнуться