Автоматизация сбора и обработки данных

Руководитель

Дмитрий Калашников

Продукт

Marketing Research

Город

Санкт-Петербург

Проект

В рамках проектах необходимо проектировать и разрабатывать новые модули по обработке данных и производить доработку уже существующих в рамках распределенной микро-сервисной системы. Каждый модуль является отдельным веб-сервисом, полноценно интегрированным в инфраструктуру. По окончанию стажировки должно быть выполнено:

  • Создан обработчик данных о вакансиях.
  • Создан обработчик типовых данных из опросов.
  • Разработаны механизмы интеграции данных между уже существующими обработчиками.
  • Произвести доработку веб-парсера для поддержки действий на странице, новых способов пагинации и миграции с PhatnomJS на Chrome headless.

Презентация 26 апреля 2017

Требования

Обязательно

  • Java 8 / Kotlin;
  • опыт разработки веб-сервисов;
  • Git.

Будет плюсом

  • базовые знания Python и R,
  • опыт использования Spring (MVC, Data, Cloud, Boot),
  • опыт работы с Docker.
Презентация проекта 31 августа 2017