《谷歌布局大數(shù)據(jù)：開源平臺(tái) Apache Beam 正式發(fā)布》要點(diǎn)：
本文介紹了谷歌布局大數(shù)據(jù)：開源平臺(tái) Apache Beam 正式發(fā)布，希望對(duì)您有用。如果有疑問，可以聯(lián)系我們。

相關(guān)主題：apache配置

美國時(shí)間 1 月 10 日,Apache 軟件基金會(huì)對(duì)外宣布,萬眾期待的Apache Beam在經(jīng)歷了近一年的孵化之后終于卒業(yè).這一頂級(jí)Apache 開源項(xiàng)目終于成熟.

這是大數(shù)據(jù)處理領(lǐng)域的又一大里程碑變亂——僅僅在上個(gè)月,騰訊宣布將在 2017 年一季度開源其大數(shù)據(jù)計(jì)算平臺(tái)Angel.現(xiàn)在看來,生不逢時(shí)的 Angel 可能迎來了它最大的對(duì)手.至此,谷歌終于也完成了對(duì)其云端大數(shù)據(jù)平臺(tái) Cloud Dataflow 開源的承諾.

Apache Beam 有兩大特點(diǎn)：

1. 統(tǒng)一了數(shù)據(jù)批處置(batch)和流處置(stream)編程范式,

2. 能在任何執(zhí)行引擎上運(yùn)轉(zhuǎn).

它不僅為模型設(shè)計(jì)、更為執(zhí)行一系列數(shù)據(jù)導(dǎo)向的工作流提供了統(tǒng)一的模型.這些工作流包含數(shù)據(jù)處理、吸收和整合.

它針對(duì)什么問題提供了解決方案：

大數(shù)據(jù)處理領(lǐng)域的一大問題是：開發(fā)者經(jīng)常要用到很多不同的技術(shù)、框架、API、開發(fā)語言和 SDK.雷鋒網(wǎng)獲知,取決于需要完成的是什么任務(wù),以及在什么情況下進(jìn)行,開發(fā)者很可能會(huì)用 MapReduce 進(jìn)行批處理,用 Apache Spark SQL 進(jìn)行交互哀求( interactive queries),用 Apache Flink 實(shí)時(shí)流處理,還有可能用到基于云端的機(jī)器學(xué)習(xí)框架.

近兩年開啟的開源大潮,為大數(shù)據(jù)開發(fā)者提供了十分富余的工具.但這同時(shí)也增加了開發(fā)者選擇合適的工具的難度,尤其對(duì)于新入行的開發(fā)者來說.這很可能拖慢、甚至阻礙開源工具的發(fā)展：把各種開源框架、工具、庫、平臺(tái)人工整合到一起所需工作之復(fù)雜,是大數(shù)據(jù)開發(fā)者常有的埋怨之一,也是他們支持專有大數(shù)據(jù)平臺(tái)的首要原因.

谷歌開源 Cloud Dataflow 背后的算盤是：

Apache Beam 的用戶基礎(chǔ)越年夜,就會(huì)有更多人用谷歌云平臺(tái)運(yùn)它.相應(yīng)地,他們會(huì)轉(zhuǎn)化為谷歌云服務(wù)的客戶.騰訊開放 Angel 的動(dòng)機(jī)與之類似.

背景

2016 年 2 月份,谷歌及其合作伙伴向 Apache 捐贈(zèng)了一大批代碼,創(chuàng)立了孵化中的 Beam 項(xiàng)目( 最初叫 Apache Dataflow).這些代碼中的大部分來自于谷歌 Cloud Dataflow SDK——開發(fā)者用來寫流處理和批處理管道(pipelines)的庫,可在任何支持的執(zhí)行引擎上運(yùn)行.當(dāng)時(shí),支持的主要引擎是谷歌 Cloud Dataflow,附帶對(duì) Apache Spark 和 開發(fā)中的 Apache Flink 支持.如今,它正式開放之時(shí),已經(jīng)有五個(gè)官方支持的引擎.除去已經(jīng)提到的三個(gè),還包含 Beam 模型和 Apache Apex.

雷鋒網(wǎng)獲知,Apache Beam 的官方解釋是：“Beam 為創(chuàng)建復(fù)雜數(shù)據(jù)平行處理管道,提供了一個(gè)可移動(dòng)(兼容性好)的 API 層.這層 API 的核心概念基于 Beam 模型(以前被稱為 Dataflow 模型),并在每個(gè) Beam 引擎上分歧程度得執(zhí)行.”

谷歌工程師、Apache Beam 項(xiàng)目的核心人物 Tyler Akidau 表現(xiàn)：

“當(dāng)我們(谷歌和幾家公司)決定把 Cloud Dataflow SDK 和相關(guān)引擎參加 Apache Beam 孵化器項(xiàng)目時(shí),我們腦海里有一個(gè)目標(biāo)：為世界提供一個(gè)易于使用、但是很強(qiáng)大的數(shù)據(jù)并行處理模型,支持流處理和批處理,兼容多個(gè)運(yùn)行平臺(tái).”

前景

對(duì)付 Apache Beam 的前景,Tyler Akidau 說道：

“一般來講,在孵化器卒業(yè)只是一個(gè)開源項(xiàng)目生命周期中的一個(gè)里程碑——未來還有很多在等著我們.但成為頂級(jí)項(xiàng)目是一個(gè)信號(hào)：Apache Beam 的背后已經(jīng)有為迎接它的黃金時(shí)間準(zhǔn)備就緒的開發(fā)者社群.

這意味著,我們已經(jīng)準(zhǔn)備好向前推進(jìn)流處理和批處理的技術(shù)界限,并把可移動(dòng)性(兼容多平臺(tái))帶到可編程數(shù)據(jù)處理. 這很像 SQL 在陳述性數(shù)據(jù)(declarative data)分析領(lǐng)域起到的作用.相比不開源、把相關(guān)技術(shù)禁錮在谷歌高墻之內(nèi),我們希望借此創(chuàng)造出前者所無法實(shí)現(xiàn)的東西.”

另外,Tyler Akidau 信心十足地強(qiáng)調(diào)：“流處置和批處置的未來在于 Apache Beam,而執(zhí)行引擎的選擇權(quán)在于用戶.”

最后,我們來看看谷歌在去年早些時(shí)候發(fā)布的 “Apache Beam 技能矩陣”,用它可以看出每一個(gè)兼容引擎執(zhí)行 Beam 模型的效果.換句話說,它展示了 Apache Beam 管道在分歧平臺(tái)執(zhí)行的兼容能力.

黃色表：都有什么被計(jì)算?藍(lán)表：變亂時(shí)間的那一刻?綠表：處理時(shí)間的哪一刻?紅表：各項(xiàng)改進(jìn)之間有什么關(guān)系?

via 谷歌blog,GCP,datanami雷鋒網(wǎng)

歡迎參與《谷歌布局大數(shù)據(jù)：開源平臺(tái) Apache Beam 正式發(fā)布》討論，分享您的想法，維易PHP學(xué)院為您提供專業(yè)教程。

轉(zhuǎn)載請(qǐng)注明本頁網(wǎng)址：
http://www.snjht.com/jiaocheng/11771.html