系统集成项目管理工程师高频考点：大数据关键技术

[详细内容可查看《系统集成项目管理工程师教程》(第3版)第81-82页]

★考察次数：5次

★统计年份：2016年下至2023年上

★相关真题：2016年下半年、2017年上半年、2017年下半年、2018年上半年、2018年下半年、2019年下半年

★温馨提示：第三版教材该知识点跟前版教材变化很大，所以以往的真题不需要做

▼考点内容：

大数据技术架构主要包含：大数据获取技术、分布式数据处理技术、大数据管理技术、大数据应用和服务技术。

1、大数据获取技术

大数据获取的研究主要集中在：数据采集、整合和清洗三个方面。

对于网络流量的采集可以使用DPI或DFI等带宽管理技术进行处理。

2、分布式数据处理技术

其核心是将任务分解成许多小的部分，分配给多台计算机进行处理，通过并行工作的机制，达到节约整体计算时间，提高计算效率的目的。

目前，主流的分布式计算系统有：Hadoop、Spark和Storm。

Hadoop常用于离线的、复杂的大数据处理

Spark常用于离线的、快速的大数据处理

Storm常用于在线的、实时的大数据处理。

3、大数据管理技术

大数据管理技术主要集中在大数据存储、大数据协同和安全隐私等方面。

大数据存储技术主要有三个方面：

①采用MPP架构的新型数据库集群，通过列存储、粗粒度索引等多项大数据处理技术和高效的分布式计算模式，实现大数据存储。

②围绕Hadoop衍生出相关的大数据技术，应对传统关系型数据库较难处理的数据和场景，通过扩展和封装Hadoop来实现对大数据存储、分析的支撑

③基于集成的服务器、存储设备、操作系统、数据库管理系统，实现具有良好的稳定性、扩展性的大数据一体机。

4、大数据应用和服务技术

大数据应用和服务技术主要包含：分析应用技术和可视化技术。

大数据分析应用主要是面向业务的分析应用。大数据分析应用技术以业务需求为驱动。

可视化通过交互式视觉表现的方式来帮助人们探索和理解复杂的数据。大数据的可视化技术主要集中在文本可视化技术、网络(图)可视化技术、时空数据可视化技术、多维数据可视 化和交互可视化等。