大数据基础平台产品

大数据基础平台产品

比格德塔大数据基础平台产品采用开源成熟的Hadoop生态体系，从企业技术选型角度，Hadoop能满足大数据场景下绝大多数需求，在技术可行性与成本上，具有无可比拟的优势。

• Hadoop是架构在廉价的硬件服务器上，不需要非常昂贵的硬件做支撑。

• 开源的产品，免费的，基于开源协议，可以自由修改，可控性更大。

• 因为属于二次开发，同时因为有非常活跃的社区讨论，对开发人员的能力要求相对不高，工程师的学习成本也并不高。

• 当集群规模非常大时，开发成本和维护成本会凸显出来。但是相对于自主研发的系统来说的话，还是便宜的很多。

• Hadoop的整个生态体系，涵盖了系统数据存储、数据收集、数据导入导出到关系数据库、并行计算框架、数据序列化处理与任务调度、数据挖掘和机器学习、列式存储在线数据库、元数据中心、工作流控制、系统部署配置监控、可视化处理等等方方面面。

比格德塔大数据主要为三大平台：大数据分析平台（Data Analyzer）、大数据治理平台（Data Governor）、大数据可视化平台（Data Viewer）组成。

1、大数据分析平台（Data Analyzer）

Hadoop大数据分析平台采用开源Hadoop组件搭建为一个通用目的的大数据分析平台，可用于各领域，包括：公共安全、金融、医疗以及政府等大数据应用客户，平台具备如下特点：

• 一键安装

• 可视化运行维护

• 自由的扩展性

• 完全开源，并于最新的稳定版本同步

• 无缝集成Hadoop生态领域的各个数据分析组件

• 可视化大数据实验环境

大数据分析平台应用于各行各业，支持海量数据的分布式存储和计算，专注于安全、可靠、易用、开放的企业级需求；不仅提供海量数据存储和多种高性能计算框架，还对平台上的数据和服务提供了完整的安全保障体系、图形化的平台管理和作业、统一的身份认证和权限管理、细粒度的权限控制。

• 海量数据存储及扩展能力：基于分布式HDFS文件系统存储，HA高可用配置，数据多副本，异地备份容灾能力，以最经济的硬件成本支持海量数据存储和扩容。  

• 高负载和海量数据处理能力：基Yarn之上的资源管控与调度模型，支持资源的动态配置与热启动，公平科学的任务调度算法，达到资源利用的最大化、合理化。优先分配就近的运算节点，尽可能降低网络带宽。高容错能力，支持任务重试和资源预估，不受个别越算节点故障影响。支持动态扩充运算资源。能在海量的服务器集群中执行高复杂度、高资源需求、高运算密集型的任务。

• 灵活快速的平台搭建及全面运营监控指标体系：一键式的平台搭建，支持快速搭建集群环境。灵活方便的配置界面，可针对集群、单机进行系统配置及调优。提供自定义的服务模块安装、资源分配、权限管理。指标体系全面的监控管理、良好的可视化界面，提供自定义脚本的预警与处理

• 多平台、多结构的数据接入与处理：支持各种格式、多数据源的数据导入。从系统日志、数据库、第三方数据源等导入数据到集群环境，进行快速地数据清洗、转化、建模、固化，提供各业务模块进行运算处理。良好的模板配置，支持多ETL任务自动生成、运行。代码规范统一。  

• 体验良好的交互式展示界面及报表工具：除了展示各个常规指标及运算之外，通过专业的统计数据分析系统设计方法，理清海量数据指标与维度，按主题、成体系呈现复杂数据背后的联系;将多个视图整合，展示同一数据在不同维度下呈现的数据背后的规律，帮助用户从不同角度分析数据、缩小答案的范围、展示数据的不同影响。具备显示结果的形象化和使用过程的互动性，便于用户及时捕捉其关注的数据信息。

比格德塔大数据产品方案采用的Hadoop模块包括：

• HDFS，用于大规模数据存储

• Yarn，系统资源管理 

• Hive，基于Mapreduce的SQL数据访问

• Pig，脚本式数据处理

• Storm，流式数据处理 

• Spark/Spark Streaming，内存计算框架

• HBase，Key-Value数据存储 

• MapReduce，离线批处理计算框架

• Kafka，消息队列式流失数据接入

• HCatlog，元数据管理 

• Ambari，Hadoop平台监控、管理界面

• ZooKeeper，保证系统无单点运行

• Oozie，工作流式任务调度

2、大数据治理平台（Data Governor）

• 针对海量的新闻和社交数据进行快速高效的清洗和NLP等算法治理，最终入库到Hbase 和 Elasticsearch，进行对数据的海量存储、实时检索和挖掘等；

• 数据清洗主要是根据数据质量规范，使得数据满足以下规范要求： 完整性、唯一性、权威性、合法性、一致性。

• 根据规范要求对数据进行数据格式校验、去重、乱码识别过滤、语言识别、脚本处理、合法性校验、字段缺失补齐。通过对数据标准化后，对进一步数据的NLP算法处理做铺垫。

• 数据算法治理是根据清洗后的标准化数据进行nlp自然语言算法计算，对数据打标签、分类等，最终对数据形成数据资产和数据仓库，进行海量的数据存储、为前台提供实时性检索、分析、挖掘等需求；

• 数据整个治理过程中，根据不同应用场景引入了spark 和 storm的批量处理和流式计算，提高了计算性能、健壮性、容错性等、很大程度上节省了服务器资源，合理利于、协调各服务器资源，最大化使用服务器、以及数据治理和响应的低延迟。

3、大数据可视化平台（Data Viewer）

企业级大数据可视化分析平台，具有全面的安全保障、强大的大数据计算性能、先进的智能分析、便捷的协作分享等特性。可视化快速构建灵活高效的数据模型，多维可视化数据探索，自助式报表分析。

• 强大性能，秒级响应

• 数据分析，节省80%的时间

• 行业顶级安全保障

• 多终端支持，随时随地掌握数据