系統(tǒng)集成項(xiàng)目管理工程師高頻考點(diǎn)：大數(shù)據(jù)關(guān)鍵技術(shù)

[詳細(xì)內(nèi)容可查看《系統(tǒng)集成項(xiàng)目管理工程師教程》(第3版)第81-82頁(yè)]

★考察次數(shù)：5次

★統(tǒng)計(jì)年份：2016年下至2023年上

★相關(guān)真題：2016年下半年、2017年上半年、2017年下半年、2018年上半年、2018年下半年、2019年下半年

★溫馨提示：第三版教材該知識(shí)點(diǎn)跟前版教材變化很大，所以以往的真題不需要做

▼考點(diǎn)內(nèi)容：

大數(shù)據(jù)技術(shù)架構(gòu)主要包含：大數(shù)據(jù)獲取技術(shù)、分布式數(shù)據(jù)處理技術(shù)、大數(shù)據(jù)管理技術(shù)、大數(shù)據(jù)應(yīng)用和服務(wù)技術(shù)。

1、大數(shù)據(jù)獲取技術(shù)

大數(shù)據(jù)獲取的研究主要集中在：數(shù)據(jù)采集、整合和清洗三個(gè)方面。

對(duì)于網(wǎng)絡(luò)流量的采集可以使用DPI或DFI等帶寬管理技術(shù)進(jìn)行處理。

2、分布式數(shù)據(jù)處理技術(shù)

其核心是將任務(wù)分解成許多小的部分，分配給多臺(tái)計(jì)算機(jī)進(jìn)行處理，通過(guò)并行工作的機(jī)制，達(dá)到節(jié)約整體計(jì)算時(shí)間，提高計(jì)算效率的目的。

目前，主流的分布式計(jì)算系統(tǒng)有：Hadoop、Spark和Storm。

Hadoop常用于離線的、復(fù)雜的大數(shù)據(jù)處理

Spark常用于離線的、快速的大數(shù)據(jù)處理

Storm常用于在線的、實(shí)時(shí)的大數(shù)據(jù)處理。

3、大數(shù)據(jù)管理技術(shù)

大數(shù)據(jù)管理技術(shù)主要集中在大數(shù)據(jù)存儲(chǔ)、大數(shù)據(jù)協(xié)同和安全隱私等方面。

大數(shù)據(jù)存儲(chǔ)技術(shù)主要有三個(gè)方面：

①采用MPP架構(gòu)的新型數(shù)據(jù)庫(kù)集群，通過(guò)列存儲(chǔ)、粗粒度索引等多項(xiàng)大數(shù)據(jù)處理技術(shù)和高效的分布式計(jì)算模式，實(shí)現(xiàn)大數(shù)據(jù)存儲(chǔ)。

②圍繞Hadoop衍生出相關(guān)的大數(shù)據(jù)技術(shù)，應(yīng)對(duì)傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)較難處理的數(shù)據(jù)和場(chǎng)景，通過(guò)擴(kuò)展和封裝Hadoop來(lái)實(shí)現(xiàn)對(duì)大數(shù)據(jù)存儲(chǔ)、分析的支撐

③基于集成的服務(wù)器、存儲(chǔ)設(shè)備、操作系統(tǒng)、數(shù)據(jù)庫(kù)管理系統(tǒng)，實(shí)現(xiàn)具有良好的穩(wěn)定性、擴(kuò)展性的大數(shù)據(jù)一體機(jī)。

4、大數(shù)據(jù)應(yīng)用和服務(wù)技術(shù)

大數(shù)據(jù)應(yīng)用和服務(wù)技術(shù)主要包含：分析應(yīng)用技術(shù)和可視化技術(shù)。

大數(shù)據(jù)分析應(yīng)用主要是面向業(yè)務(wù)的分析應(yīng)用。大數(shù)據(jù)分析應(yīng)用技術(shù)以業(yè)務(wù)需求為驅(qū)動(dòng)。

可視化通過(guò)交互式視覺(jué)表現(xiàn)的方式來(lái)幫助人們探索和理解復(fù)雜的數(shù)據(jù)。大數(shù)據(jù)的可視化技術(shù)主要集中在文本可視化技術(shù)、網(wǎng)絡(luò)(圖)可視化技術(shù)、時(shí)空數(shù)據(jù)可視化技術(shù)、多維數(shù)據(jù)可視 化和交互可視化等。