Требуется разработчик для развития проекта по сбору, агрегации и анализу данных социальных сетей. Ключевые навыки: системная архитектура, базы данных, SNA. После постановки задач возможно подключение дополнительных разработчиков и работа в команде (с вашим делегированием).
Основные текущие задачи:
1) Ревизия данных и наработок, выбор решений/технологий, создание задач
2) Развитие структуры для хранения данных
3) Разработка дамперов для сбора данных
4) Очистка и загрузка полученных данных в структуру БД
Краткое описание текущего этапа:
есть множество данных профилей пользователей VK, Twitter, Instagram. Необходимо предложить структуру для хранения полученных данных и далее наполнить её.
Для хранения данных мы склоняемся к MongoDB, но варианты (например, Postgres) обсуждаются.
Требования:
1) По разработанной вами структуре БД в последствии должен достаточно быстро осуществляться (реалтайм на уровне одного пользователя) поиск по данным.
2) Схема не должна накладывать ограничений на добавление источников (и параметров на каждого пользователя) в будущем.
