《大數(shù)據(jù)安全和性能開(kāi)源解決方案Apache Eagle，畢業(yè)成為Apache頂級(jí)項(xiàng)目》要點(diǎn)：
本文介紹了大數(shù)據(jù)安全和性能開(kāi)源解決方案Apache Eagle，畢業(yè)成為Apache頂級(jí)項(xiàng)目，希望對(duì)您有用。如果有疑問(wèn)，可以聯(lián)系我們。

翻譯｜尚劍

審校｜王純超

Apache Eagle是一個(gè)識(shí)別大數(shù)據(jù)平臺(tái)上的平安和性能問(wèn)題的開(kāi)源解決方案,2017年1月10日,Apache Eagle畢業(yè)成為Apache頂級(jí)項(xiàng)目.

Eagle首先由eBay在2015年10月開(kāi)源,它主要用來(lái)即時(shí)監(jiān)測(cè)敏感數(shù)據(jù)拜訪和惡意活動(dòng),并及時(shí)采取行動(dòng).除了數(shù)據(jù)活動(dòng)管理,Eagle也可以用于節(jié)點(diǎn)異常檢測(cè),集群和作業(yè)性能分析.

作業(yè)性能分析是通過(guò)處理YARN應(yīng)用日志和對(duì)YARN中所有運(yùn)行的作業(yè)進(jìn)行快照分析來(lái)完成的.Eagle可以檢測(cè)單個(gè)作業(yè)趨勢(shì)、數(shù)據(jù)偏斜問(wèn)題、故障原因和考慮所有運(yùn)行的作業(yè)情況下評(píng)估集群的整體性能.Eagle通過(guò)計(jì)算每個(gè)節(jié)點(diǎn)的任務(wù)失敗率來(lái)監(jiān)測(cè)行為異常和需要關(guān)注的節(jié)點(diǎn).至于集群性能,Eagle通過(guò)計(jì)算每個(gè)YARN作業(yè)占用的資源并把它與橫向服務(wù)的指標(biāo)(比如HDFS namenode)來(lái)贊助識(shí)別整體集群緩慢的原因.

Apache Eagle依賴于Apache Storm來(lái)進(jìn)行數(shù)據(jù)活動(dòng)和操作日志的流處理,并且可以執(zhí)行基于策略的檢測(cè)和報(bào)警.它提供多個(gè)API：作為基于Storm API上的一層抽象的流式處理API和policy engine provider API的抽象,它將WSO2的開(kāi)源Siddhi CEP engine作為第一類(lèi)對(duì)象.Siddhi CEP engine支持報(bào)警規(guī)則的熱部署,并且警報(bào)可以使用屬性過(guò)濾和基于窗口的規(guī)則(例如,在10分鐘內(nèi)三次以上的拜訪)來(lái)定義.

Apache Eagle中還包括一個(gè)基于機(jī)器學(xué)習(xí)的policy provider.它從過(guò)去的用戶行為中學(xué)習(xí),來(lái)將數(shù)據(jù)拜訪分類(lèi)為異常或者正常.這個(gè)機(jī)器學(xué)習(xí)policy provider評(píng)估在Apache Spark框架中離線訓(xùn)練的模型.Eagle用兩種機(jī)器學(xué)習(xí)方法來(lái)計(jì)算用戶配置信息：一個(gè)方法是密度估計(jì),用來(lái)計(jì)算每個(gè)用戶/活動(dòng)的高斯概率密度和一個(gè)閾值,另一個(gè)方法是特征值分解,通過(guò)減少用戶和活動(dòng)的特征維度來(lái)提取其行為模式.

數(shù)據(jù)集成是使用Apache Kafka通過(guò)logstash forwarder 代理或通過(guò)log4j kafka appender來(lái)實(shí)現(xiàn)的.來(lái)自多個(gè)Hadoop守護(hù)進(jìn)程(例如,namenode,datanode等)的日志條目被反饋到Kafka并由Storm處理.Eagle支持將數(shù)據(jù)資產(chǎn)分類(lèi)為多個(gè)靈敏度類(lèi)型.

Eagle支持使用Apache HBase和關(guān)系數(shù)據(jù)庫(kù)持久化警報(bào).警報(bào)可通過(guò)電子郵件、Kafka或存儲(chǔ)在Eagle支持的存儲(chǔ)中進(jìn)行通知.你也可以開(kāi)發(fā)本身的警報(bào)通知插件.

歡迎參與《大數(shù)據(jù)安全和性能開(kāi)源解決方案Apache Eagle，畢業(yè)成為Apache頂級(jí)項(xiàng)目》討論，分享您的想法，維易PHP學(xué)院為您提供專(zhuān)業(yè)教程。

轉(zhuǎn)載請(qǐng)注明本頁(yè)網(wǎng)址：
http://www.snjht.com/jiaocheng/13466.html