Работа с большими данными, аналитика и обслуживание высоконагруженных систем

Для обработки больших массивов данных используются высоконагруженные системы. От их надежности, способности поддерживать нормальную работу при возникновении проблем зависит качество обслуживания пользователей. Любые сбои влекут дополнительные затраты для бизнеса.

Компания «РОССПЕЦХОЛОД» разрабатывает кросс-отраслевые платформы для обработки больших данных с открытым кодом на базе технологий Greenplum и Hadoop, с искусственным интеллектом, применяющиеся в различных отраслях, включая автотранспортное производство, энергетику, медицину и другие направления. В число основных направлений деятельности «РОССПЕЦХОЛОДА» также входит когнитивный анализ, сквозная аналитика корпоративных данных и проектирование высоконагруженных систем обработки показателей.

Наши компетенции

Платформа обработки больших объемов данных

Сбор и систематизация данных из разных источников с их проверкой, очищением и адаптацией к требованиям бизнеса.

Главной особенностью масштабируемой платформы от «РОССПЕЦХОЛОДА» является способность компоновки, хранения больших объемов информационных данных, размером от единицы до десятков петабайт, с последующей структуризацией и обработкой. Платформа с открытым кодом проектируется на технологиях Hadoop и Greenplum, работающих с увеличенными потоками данных. Ее использование обеспечивает значительное снижение показателя time2market, за счет применения эффективно работающей программной основы помогает минимизировать риски, возникающие при реализации сложных масштабных проектов. Платформа предназначена для решения следующих задач:

• Сбора, загрузки большого объема данных от различных источников в потоковом и пакетном режимах загрузки;
• Контроля качества информации, ее структуризации;
• Обогащения и формирования логически связанных данных;
• Их обработки алгоритмами искусственного интеллекта.

В систему встроены опции для анализа данных, средства для разработки, обучения моделей с их последующей публикацией в платформу. За счет сгенерированных инструментов управления данными обеспечивается настройка и сопровождение бизнес-глоссария, каталога данных с возможностью прослеживания пути информации от источника к потребителю, с охватом всех точек трансформации и обработки.

Для построения Платформы применяются архитектурные принципы:

1. открытости;
2. масштабируемости;
3. отказоустойчивости;
4. безопасности в эксплуатации.

Применение данных принципов помогает быстро и оперативно производить подключение новых источников, устанавливать различные настройки для проверки и нормализации данных, встраивать в Платформу дополнительные модели и алгоритмы обработки данных.

Платформа может функционировать в облачном пространстве или на инфраструктуре Клиента. С подходом Infrastructure-As-Code (IaC) период ее развертывания составляет не более 3-х недель. В ее архитектуре используются технологии искусственного интеллекта (ИИ) и машинного обучения (МО), значительно упрощающие обработку больших объемов данных, принятия решений, способствуя уменьшению затрат на обслуживание автоматизированных систем, повышению эффективности бизнес-процессов. Данные технологии востребованы в различных отраслях производства, в государственном управлении, где обрабатываются и анализируются большие массивы данных. Они создают и обучают модели, использующиеся для получения конкретных бизнес-результатов. С их помощью выявляются тенденции, определяются потребности, предпочтения клиентов, прогнозируются события будущих периодов, принимаются взвешенные и обоснованные решения в бизнесе. Также использование искусственного интеллекта и машинного обучения способствует оптимизации процессов производства улучшению качества продукции и обслуживания. В результате компании сокращают издержки, работают результативно и эффективно.

Хранение данных и сквозная аналитика

Сбор, структуризация, хранение данных в едином хранилище с последующей обработкой для оптимизации бизнес-аналитики предприятия.

На основании многолетнего профессионального опыта и соответствующих компетенций в области разработки, специалистами «РОССПЕЦХОЛОД» была создана собственная референсная архитектура, использованная в качестве базы для реализации прогрессивной технологической платформы, обеспечивающей оперативное включение расширенной аналитики корпоративных данных в едином хранилище. Применение расширенной аналитики способствует решению бизнес задач, связанных с анализом данных и выявлением тенденций, решением других профессиональных задач, в том числе, прогнозирования будущих событий, принятия обоснованных решений на основе данных.

Функции технологической платформы для проектирования хранилищ корпоративных данных включают:

• Поиск, группировку информации от корпоративных систем в потоковом и пакетном режиме;
• Контроль состояния данных, с их нормализацией, консолидацией нормативно-справочной информацией;
• Применение гибкой методологии для приведения массива данных к общей модели;
• Задействование интеллектуальных алгоритмов работы с информационными потоками на основе ИИ;
• Формирование стандартных и аналитических отчетов с различными уровнями настройки;
• Создание ad-hoc отчетов.

Анализ выполняется с помощью преднастроенных средств обработки данных, с обучением моделей на их основе и последующей публикацией в Платформе. Данные средства позволяют:

1. Выполнить корректную настройку и обслуживание бизнес-глоссария;
2. Настраивать каталоги данных и устанавливать связи с бизнес-глоссарием;
3. Отслеживать пути и каналы перемещения информации от источника к потребителям с уточнением всех точек трансформации и обработки (Data Lineage);
4. Обеспечивает высокое качество обработки данных.

К платформе с минимальными затратами могут подключаться дополнительные корпоративные системы и внешние источники информации, для настройки правил нормализации и проверки качества, внедряться новые модели, алгоритмы обработки данных. На ее основе могут создаваться новые витрины и настройки аналитики.

В основе платформы используется программное обеспечение с открытым кодом.

Высоконагруженные системы обработки данных

Надежный фреймворк для решения нестандартных задач в области проектирования сложных платформ.

Увеличение количества «умных» устройств, использующихся для передачи данных, приводит к появлению огромных массивов данных, с высокой скоростью поступающих в системы обработки. Их классические модификации не в состоянии обеспечить нужную производительность при работе с таким количеством информации.

Высоконагруженная (highload) платформа от «РОССПЕЦХОЛОД» принимает данные от миллионов «умных» устройств в диапазоне, максимально приближенному к реальному времени. Она подходит для различных отраслей, в том числе, интернета вещей, финансовой сферы, медицины, телекоммуникационных компаний. Применение платформы позволяет эффективно справиться с разнообразными по характеру и сложности задачами, обеспечить мониторинг состояния объектов с помощью отслеживания сигналов, передающихся «умными» датчиками, выявляющими сигнальные события в режиме реального времени, прогнозировать возможные отказы оборудования. При необходимости возможна обработка данных, хранящихся в платформе, алгоритмами и системами искусственного интеллекта.

Проектирование высоконагруженных систем – сложная, комплексная задача, требующая от исполнителей профессионализма, высокого уровня знаний в области разработки, архитектуры программного обеспечения, продвинутых навыков работы с большими объемами данных. Конструируемые системы должны быть отказоустойчивыми, масштабируемыми, производительными, обеспечивать безопасность передачи и хранения данных.

Увеличенная производительность платформы позволяет ей получать и обрабатывать данные со скоростью в несколько десятков тысяч сообщений за минуту. Подобный результат достигается за счет автоматизации горизонтального масштабирования ее составляющих при изменении нагрузки. Улучшенную отказоустойчивость платформе гарантирует отсутствие точек отказа и концентрации нагрузки. Она проектируется на основе ПО с открытым кодом, характеризуется положительным опытом внедрения в практических условиях.