大数据证券业务监管

大数据的应用

通过用户行为分析实现精准营销是大数据的典型应用,但是大数据在各行各业特别是公共服务领域具有广阔的应用前景

大数据的管理管理大数据真正的问题是让大数据更有意义目前大数据管理多从架构和并行等方面考虑,解决高并发数据存取的性能要求及数据存储的横向扩展,但对非结构化数据的内容理解仍缺乏实质性的突破和进展,这是实现大数据资源化、知识化、普适化的核心非结构化海量信息的智能化处理:自然语言理解、多媒体内容理解、机器学习等管理大数据“易”,理解大数据“难”

相关技术

分析技术:数据处理:自然语言处理技术(Siri)统计和分析:A/B test; top N排行榜;地域占比;文本情感分析数据挖掘:关联规则分析;分类;聚类模型预测:预测模型;机器学习;建模仿真 数据:结构化数据:海量数据的查询、统计、更新等操作效率低非结构化数据:图片、视频、word、pdf、ppt等文件存储不利于检索、查询和存储半结构化数据转换为结构化存储按照非结构化存储大数据技术:数据采集:ETL工具、Flume等数据存取:关系数据库;NoSQL;SQL等基础架构支持:云存储;分布式文件系统等计算结果展现:云计算;标签云;关系图等 解决方案:Hadoop(MapReduce技术)流计算(storm和spark streaming等)


集中分析与管理系统解决方案

方案特点

实时性
实时采集、分析、展现,秒级搜索
准确性和完整性
传输通道实现不重传、不漏传、断点续传,保证数据完整性
安全性
非对称加密算法对传输的日志数据进行加密
使用SSL/TLS协议,保障网络传输通道的安全性
稳定性与可靠性
基于成熟的、经过实践验证稳定可靠的Hadoop技术组件
服务器节点非常容易实现横向扩展,分布式环境保障集群中的任意一台服务器出现宕机时不影响系统的稳定可靠


价值收益

1、为金融证券公司提供更完善的运维管理支持,实现网上交易事务机各技术指标的实时监控,针对假死、宕机、恶意攻击等异常情况做到及时有效应对。
2、针对资金账号的各种异常情况的实时预警,协助及时发现异常的资金账号,做出更加有效的管控和处理。
3、秒级的日志查询,配合监管机构的日志查询等合规检查要求或客户请求,快速响应。