大数据管理

背景介绍

网上交易日志中不仅包含系统的运行状态信息,并且包含海量的客户行为信息。建设一套网上交易日志分析平台,对网上交易日志在盘中/盘后实现实时的采集、解析,不仅能够及时反映网上交易系统的健康状况,并且可以根据客户的交易行为对业务风险、异常交易等进行实时预警,提高网上交易系统的事前预警能力和事后故障的排查和恢复速度,实现多维度立体化的监控。

方案功能

日志统一管理
       将分散在各个服务器日志统一收集到数据中心做集中管控。
指标监控
       针对异常交易行为和服务器状况进行实时监控,并及时发现问题作出预警行为。
海量日志数据分析
       对海量日志数据提供OLAP多维度检索分析功能。
可视化及应用服务
       提供日志数据的图表及报表展示,并为用户提供定制的应用服务。

帮助企业客户快速构建大数据平台,满足企业的海量数据存储和分析需求,具有高可靠、高安全、高性能的特点。

数据采集

- Kettle、Sqoop等ETL工具,用于将关系型数据库同步到平台
- Flume、Logstash用于处理日志等文本类数据到平台中

数据存储

- HDFS文件存储系统,高可扩展性、可动态扩容,高可靠性存储。健全的安全及权限分配功能,支持Kerberos进行身份认证和访问权限控制。
- 支持常见的Oracle、Mysql、SQLServer、PostgreSQL等关系数据库
- HBase数据库,具有高可扩展性、高性能等特性,满足企业高负载读写、实时查询等需求。

数据计算

- 基于内存的分布式迭代计算引擎,比Hadoop Map/Reduce快10倍以上,满足离线计算和实时计算的需求。
- OLAP多维分析,PB级数据秒级响应
- 实时监控指标数据,及时预警

集群管理

- 基于Web图形化界面的向导式安装、一站式的集成监控及管理工具,大大降低大数据平台的搭建及运维难度和成本。