Наверх
aplana +7 (495) 710-75-80
Полный комплекс услуг для разработчиков ПО и службы технической поддержки

Создание решений Big Data на платформе Hadoop

В условиях лавинообразного роста объемов данных на помощь организациям приходят технологии Big Data – они обеспечивают обработку массивов информации из различных источников. Один из основных вариантов эффективной работы с большими данными  — построение системы на открытой и расширяемой платформе Hadoop, которую с 2005 г. развивает квалифицированное Open Source сообщество Apache Software Foundation.

Hadoop включает в себя набор утилит, библиотек и фреймворк для разработки, позволящий создавать производительные системы обработки разнородных данных за счет использования модели распределенных вычислений.

Решения на основе Hadoop успешно используют не только предприятия корпоративного уровня из различных отраслей, включая таких лидеров ИТ-индустрии, как Facebook, Amazon, Ebay, Yahoo, но и тысячи менее крупных компаний по всему миру.


Комплекс услуг

Используя технологические возможности Hadoop и свой опыт, специалисты компании «Аплана» готовы оказать следующие услуги для вашей компании:

  • Проектирование объемных хранилищ данных.
  • Развертывание и администрирование распределенного хранилища на базе HDFS.
  • Проектирование алгоритмов и разработка модулей обработки неструктурированных данных.
  • Проектирование и разработка прикладных функций MapReduce.
  • Разработка продвинутой аналитической отчетности и механизмов поддержки принятия решений.

Компоненты платформы

К основным компонентам экосистемы Hadoop относятся

1
HDFS (Hadoop Distributed File System) – распределенная файловая система, предназначенная для хранения больших объемов данных и делегирующая копии данных в вычислительные узлы кластера;
2
MapReduce – фреймворк, основа для программирования модели распределенных вычислений, написания приложений для быстрой обработки массивов информации на крупных кластерах;
3
Hadoop Common: библиотеки управления файловыми системами и сценариями распределенной обработки данных;
4
YARN (Yet Another Resource Negotiator) – система управления кластерными ресурсами и планированием заданий.

Экосистема предусматривает создание и подключение дополнительных модулей для совершения таких операций, как создание распределенных приложений, обмен данными со структурированными системами данных, представление данных в виде таблиц, планирование заданий и др.


Ключевые преимущества

  • Невысокая стоимость масштабирования хранилища: благодаря Hadoop работа с Big Data возможна на обычных машинах, не требуется закупка специализированных мощных серверных систем или СХД;  
  • Отказоустойчивость: обработка отказов узлов, оборудования, распределенный кластер поддерживает корректную работу системы за счет асинхронной репликации данных;
  • Простая горизонтальная масштабируемость:  рост производительности системы путем повышения мощности кластера, без доработки кода;
  • Работа с любыми типами данных: обработка разнородной информации, в том числе неструктурированной (Интернет, социальные сети и т.д.).
  • Гибкость: возможность оперативного расширения функционала благодаря подключению дополнительных модулей экосистемы Hadoop;

Наша экспертиза

Команда консультантов, аналитиков и разработчиков «Апланы» обладает всеми необходимыми знаниями Hadoop и ее компонентов; при реализации проектов есть возможность оперативного привлечения специалистов для решения смежных и специализированных задач. 

  • Юлмарт
  • МТС Банк
  • Сбербанк
  • Центральный банк Российской Федерации
  • Хоум Кредит энд Финанс Банк
  • Sanofi
  • Филип Морис Интернэшнл
  • Спутник
  • ВТБ 24
  • ДжиИ Мани Банк
  • Альфа-Банк
  • Эльдорадо
  • Procter&Gamble
  • Газпромбанк
  • Ренессанс Жизнь
  • Мегафон
  • Райффайзенбанк
  • ТрансКредитБанк
  • ОТП Банк
  • МТС
Система Orphus