要點綜述
Apache Spark* 是一種常見的數(shù)據(jù)處理引擎，用于對超大數(shù)據(jù)集進(jìn)行高級分析。在當(dāng)今涉及基于云的服務(wù)、物聯(lián)網(wǎng)和機(jī)器學(xué)習(xí)的企業(yè)用例中，這類數(shù)據(jù)已經(jīng)司空見慣。Spark 采用了一個通用的集群計算框架，能夠獲取和處理實時的超大數(shù)據(jù)流，即時處理和分析事件和異常情況，從而支持企業(yè)快速制定決策，更好地響應(yīng)用戶需求。

為了使 Spark 能夠在運行不同工作負(fù)載（例如機(jī)器學(xué)習(xí)應(yīng)用）時實現(xiàn)卓越性能，Spark 內(nèi)置了內(nèi)存數(shù)據(jù)存儲功能。因此，Spark 的性能要明顯優(yōu)于其他大數(shù)據(jù)處理技術(shù)。但是，Spark 內(nèi)存功能受到服務(wù)器中可用內(nèi)存的限制；受此影響，我們在執(zhí)行 Spark 作業(yè)期間經(jīng)常可以看到的一種情況是，系統(tǒng)內(nèi)存已經(jīng)飽和，但計算資源卻處于閑置狀態(tài)。要消除這種限制，一種辦法為在節(jié)點集群上運行 Spark 的分布式架構(gòu)，以充分利用所有節(jié)點中的可用內(nèi)存。雖然采用更多節(jié)點可以解決服務(wù)器 DRAM 容量問題，但會增加成本。DRAM 不僅成本高昂，而且還要求運營商配置額外的服務(wù)器以獲得更多內(nèi)存。

英特爾^® IMDT（Intel Memory Drive Technology）是一種軟件定義內(nèi)存（SDM）技術(shù)，與英特爾^® 傲騰™ 固態(tài)盤相結(jié)合使用時，可有效擴(kuò)展系統(tǒng)內(nèi)存。這種英特爾^® 傲騰™ 固態(tài)盤與英特爾^® IMDT 的結(jié)合，可以透明地為操作系統(tǒng)和 Spark 作業(yè)提供更多內(nèi)存，消除 Spark 應(yīng)用所固有的內(nèi)存限制。為了演示此功能，英特爾使用了一種當(dāng)前名為 TeraSort 的 Spark 性能指標(biāo)評測程序。1 該程序測試得出的初始數(shù)值顯示，英特爾^® IMDT 能夠有效提升資源利用率，改進(jìn)系統(tǒng)性能。
這一內(nèi)存擴(kuò)展方法可通過使用英特爾^® IMDT 顯著加大系統(tǒng)內(nèi)存，同時通過運行更多的 Spark 執(zhí)行器，充分利用系統(tǒng)計算容量。該性能指標(biāo)評測程序表明，在具有相同內(nèi)存和計算能力的系統(tǒng)上，通過添加英特爾^® IMDT 軟件，可以將 Spark 作業(yè)吞吐量提高一倍。相對于使用用英特爾^® IMDT，另一種方法是為系統(tǒng)添加更多 DRAM。如圖 3 的性能指標(biāo)評測結(jié)果所示，添加更多 DRAM 只能略微提高性能，但成本卻要顯著高于英特爾^® IMDT。

本技術(shù)簡介比較了這兩種備選方案，確定了各自的性能增益，然后將性能增益與總體擁有成本（TCO）增益進(jìn)行了對比。

性能指標(biāo)評測方法