大数据平台解决方案 EASTED
近年来航空领域信息应用的规模和水平都有突飞猛进的提高，需要对数据存储资源实行集中管理，保障数据的可用性和安 全性。航空企业都进行了大规模的IT建设，形成覆盖全世界的网络系统，并有大小几十个应用系统在企业内运行，如何提 高空域管理系统的数据存储和数据分析，并且兼容多种操作系统的服务器中不同厂商的数据库是目前急需解决的问题。 空域管理行业背景及现状
● 数据量大、维度多，且多种数据结构类型，缺乏统一管理 ● 数据分析效率低，实效性差，不能满足实时需求
● 整体成本高，不仅需要专用硬件，而且商用BI软件也昂贵 ● 传统BI不能处理非结构化数据
< < < > > >
数据源
借助Sqoop、Flume、DataX等工具将生产数据，导入EDP 平台统一数据存储中，对数据进行处理或预处理后，为后续 计算和分析做准备。
数据平台层
由HDFS、HBase、NoSQL等构建数据存储系统，提供数 据存储支持。将数据源导入的数据处理成统一结构后保存 在存储系统中，为数据分析和机器学习提供输入。
业务平台层
采用Map/Reduce、Spark等多种计算技术，根据航空业务 类型和数据结构，借助快速建模、机器学习与数据挖掘手 段，对数据筛检、分析和迭代计算，高速分析海量数据。
应用层
利用大量分析的结果提供API高并发查询，不同的应用需求 提供数据依据和决策指导。根据不同应用条件查询，可视 化的展现分析结果，优化航班运行，降低成本，增加收益。
空域管理行业背景及现状
电子商务行业背景及现状
< < < > > >
● EDP平台用以整合各个相关数据源数据，通过EDP的快速分布式数据查询引擎，实现海量数据的秒级查询。为用户提供智 能推荐、实时榜单和新媒体指数分析
● EDP提供了包括Sqoop、DataX等数据导入导出工具，数据交换更高速，更高效、为数据挖掘及决策分析提供前置条件
● EDP智能推荐体系，通过用户和产品建立标签体系，通过数据挖掘和分析，智能推荐符合用户真实需求的产品，提高用户 购买成功率，降低用户沉睡率
● EDP支持交互式数据分析引擎，高速分析平台中的海量数据，交互式地探索数据，实时了解业务状况，以支撑业务发展 和决策
● EDP支持高并发查询，同时直观的展示结果，实时提供需求的变化，使研发人员可专注于企业核心业务的开发
对于以数据化运营驱动的电商企业来说，每天有着千万数量级的订单、庞大的用户数据和交易记录数据，以及业务运行日 志和财务运营数据等，数据分析是重中之重的关键。没有一个高效、便捷、自动化的数据分析平台，就很难进行数据和数 据结果实时展示。为了提高用户购物服务体验，增加销售收入，企业需要对大量的用户行为数据进行分析，挖掘用户潜在 需求，从而实现有效的广告投放和精准营销。 电子商务行业背景及现状
● 订单数据、用户数据、流量数据、财务数据在不同的业务系统数据库中，采用手工导出再进行整合处理，非常费时费力
● 环比、同比、沉睡率等指标经常变化而复杂，极大耗费人工成本
● 分析析需求的变化给研发人员很大负担，经常影响核心业务系统的开发
● 分析需求的变化需要几周才能得到响应，不能得到及时的数据以支撑业务发展和决策
