《史上最全的“大數據”學習資源(下)》要點:
本文介紹了史上最全的“大數據”學習資源(下),希望對您有用。如果有疑問,可以聯系我們。

服務編程
- ??Akka Toolkit:JVM中分布性、容錯事件驅動應用程序的運行時間;
- ??Apache Avro:數據序列化系統;
- ??Apache Curator:Apache ZooKeeper的Java庫;
- ??Apache Karaf:在任何OSGi框架之上運行的OSGi運行時間;
- ??Apache Thrift:構建二進制協議的框架;
- ??Apache Zookeeper:流程管理集中式服務;
- ??Google Chubby:一種松耦合分布式系統鎖服務;
- ??Linkedin Norbert:集群管理器;
- ??OpenMPI:消息傳遞框架;
- ??Serf:服務發現和協調的分散化解決方案;
- ??Spotify Luigi:一種構建批處理作業的復雜管道的Python包,它能夠處理依賴性解析、工作流管理、可視化、故障處理、命令行一體化等等問題;
- ??Spring XD:數據攝取、實時分析、批量處理和數據導出的分布式、可擴展系統;
- ??Twitter Elephant Bird:LZO壓縮數據的工作庫;
- ??Twitter Finagle:JVM的異步網絡堆棧.
調度
- ??Apache Aurora:在Apache Mesos之上運行的服務調度程序;
- ??Apache Falcon:數據管理框架;
- ??Apache Oozie:工作流作業調度程序;
- ??Chronos:分布式容錯調度;
- ??Linkedin Azkaban:批處理工作流作業調度;
- ??Schedoscope:Hadoop作業敏捷調度的Scala DSL;
- ??Sparrow:調度平臺;
- ??Airflow:一個以編程方式編寫、調度和監控工作流的平臺.
機器學習
- ??Apache Mahout:Hadoop的機器學習庫;
- ??brain:JavaScript中的神經網絡;
- ??Cloudera Oryx:實時大規模機器學習;
- ??Concurrent Pattern:Cascading的機器學習庫;
- ??convnetjs:Javascript中的機器學習,在瀏覽器中訓練卷積神經網絡(或普通網絡);
- ??Decider:Ruby中靈活、可擴展的機器學習;
- ??ENCOG:支持多種先進算法的機器學習框架,同時支持類的標準化和處理數據;
- ??etcML:機器學習文本分類;
- ??Etsy Conjecture:Scalding中可擴展的機器學習;
- ??Google Sibyl:Google中的大規模機器學習系統;
- ??GraphLab Create:Python的機器學習平臺,包括ML工具包、數據工程和部署工具的廣泛集合;
- ??H2O:Hadoop統計性的機器學習和數學運行時間;
- ??MLbase:用于BDAS堆棧的分布式機器學習庫;
- ??MLPNeuralNet:針對iOS和Mac OS X的快速多層感知神經網絡庫;
- ??MonkeyLearn:使文本挖掘更為容易,從文本中提取分類數據;
- ??nupic:智能計算的Numenta平臺,它是一個啟發大腦的機器智力平臺,基于皮質學習算法的精準的生物神經網絡;
- ??PredictionIO:建于Hadoop、Mahout和Cascading上的機器學習服務器;
- ??SAMOA:分布式流媒體機器學習框架;
- ??scikit-learn:scikit-learn為Python中的機器學習;
- ??Spark MLlib:Spark中一些常用的機器學習(ML)功能的實現;
- ??Vowpal Wabbit:微軟和雅虎發起的學習系統;
- ??WEKA:機器學習軟件套件;
- ??BidMach:CPU和加速GPU的機器學習庫.
基準測試
- ??Apache Hadoop Benchmarking:測試Hadoop性能的微基準;
- ??Berkeley SWIM Benchmark:現實大數據工作負載基準測試;
- ??Intel HiBench:Hadoop基準測試套件;
- ??PUMA Benchmarking:MapReduce應用的基準測試套件;
- ??Yahoo Gridmix3:雅虎工程師團隊的Hadoop集群基準測試.
安全性
- ??Apache Knox Gateway:Hadoop集群安全訪問的單點;
- ??Apache Sentry:存儲在Hadoop的數據安全模塊.
系統部署
- ??Apache Ambari:Hadoop管理的運作框架;
- ??Apache Bigtop:Hadoop生態系統的部署框架;
- ??Apache Helix:集群管理框架;
- ??Apache Mesos:集群管理器;
- ??Apache Slider:一種YARN應用,用來部署YARN中現有的分布式應用程序;
- ??Apache Whirr:運行云服務的庫集;
- ??Apache YARN:集群管理器;
- ??Brooklyn:用于簡化應用程序部署和管理的庫;
- ??Buildoop:基于Groovy語言,和Apache BigTop類似;
- ??Cloudera HUE:和Hadoop進行交互的Web應用程序;
- ??Facebook Prism:多數據中心復制系統;
- ??Google Borg:作業調度和監控系統;
- ??Google Omega:作業調度和監控系統;
- ??Hortonworks HOYA:可在YARN上部署HBase集群的應用;
- ??Marathon:用于長期運行服務的Mesos框架.
應用程序
- ??Adobe spindle:使用Scala、Spark和Parquet處理的下一代web分析;
- ??Apache Kiji:基于HBase,實時采集和分析數據的框架;
- ??Apache Nutch:開源網絡爬蟲;
- ??Apache OODT:用于NASA科學檔案中數據的捕獲、處理和共享;
- ??Apache Tika:內容分析工具包;
- ??Argus:時間序列監測和報警平臺;
- ??Countly:基于Node.js和MongoDB,開源的手機和網絡分析平臺;
- ??Domino:運行、規劃、共享和部署模型——沒有任何基礎設施;
- ??Eclipse BIRT:基于Eclipse的報告系統;
- ??Eventhub:開源的事件分析平臺;
- ??Hermes:建于Kafka上的異步消息代理;
- ??HIPI Library:在Hadoop’s MapReduce上執行圖像處理任務的API;
- ??Hunk:Hadoop的Splunk分析;
- ??Imhotep:大規模分析平臺;
- ??MADlib:RDBMS的用于數據分析的數據處理庫;
- ??Kylin:來自eBay的開源分布式分析工具;
- ??PivotalR:Pivotal HD / HAWQ和PostgreSQL中的R;
- ??Qubole:為自動縮放Hadoop集群,內置的數據連接器;
- ??Sense:用于數據科學和大數據分析的云平臺;
- ??SnappyData:用于實時運營分析的分布式內存數據存儲,提供建立在Spark單一集成集群中的數據流分析、OLTP(聯機事務處理)和OLAP(聯機分析處理);
- ??Snowplow:企業級網絡和事件分析,由Hadoop、Kinesis、Redshift 和Postgres提供技術支持;
- ??SparkR:Spark的R前端;
- ??Splunk:用于機器生成的數據的分析;
- ??Sumo Logic:基于云的分析儀,用于分析機器生成的數據;
- ??Talend:用于YARN、Hadoop、HBASE、Hive、HCatalog和Pig的統一開源環境;
- ??Warp:利用大數據(OS X app)的實例查詢工具.
搜索引擎與框架
- ??Apache Lucene:搜索引擎庫;
- ??Apache Solr:用于Apache Lucene的搜索平臺;
- ??ElasticSearch:基于Apache Lucene的搜索和分析引擎;
- ??Enigma.io:為免費增值的健壯性web應用,用于探索、篩選、分析、搜索和導出來自網絡的大規模數據集;
- ??Facebook Unicorn:社交圖形搜索平臺;
- ??Google Caffeine:連續索引系統;
- ??Google Percolator:連續索引系統;
- ??TeraGoogle:大型搜索索引;
- ??HBase Coprocessor:為Percolator的實現,HBase的一部分;
- ??Lily HBase Indexer:快速、輕松地搜索存儲在HBase的任何內容;
- ??LinkedIn Bobo:完全由Java編寫的分面搜索的實現,為Apache Lucene的延伸;
- ??LinkedIn Cleo:為一個一個靈活的軟件庫,使得局部、無序、實時預輸入的搜索實現了快速發展;
- ??LinkedIn Galene:LinkedIn搜索架構;
- ??LinkedIn Zoie:是用Java編寫的實時搜索/索引系統;
- ??Sphinx Search Server:全文搜索引擎
MySQL的分支和演化
- ??Amazon RDS:亞馬遜云的MySQL數據庫;
- ??Drizzle:MySQL的6.0的演化;
- ??Google Cloud SQL:谷歌云的MySQL數據庫;
- ??MariaDB:MySQL的增強版嵌入式替代品;
- ??MySQL Cluster:使用NDB集群存儲引擎的MySQL實現;
- ??Percona Server:MySQL的增強版嵌入式替代品;
- ??ProxySQL:MySQL的高性能代理;
- ??TokuDB:用于MySQL和?MariaDB的存儲引擎;
- ??WebScaleSQL:運行MySQL時面臨類似挑戰的幾家公司,它們的工程師之間的合作.
PostgreSQL的分支和演化
- ??Yahoo Everest?– multi-peta-byte database / MPP derived by PostgreSQL.
- ??HadoopDB:MapReduce和DBMS的混合體;
- ??IBM Netezza:高性能數據倉庫設備;
- ??Postgres-XL:基于PostgreSQL,可擴展的開源數據庫集群;
- ??RecDB:完全建立在PostgreSQL內部的開源推薦引擎;
- ??Stado:開源MPP數據庫系統,只針對數據倉庫和數據集市的應用程序;
- ??Yahoo Everest:PostgreSQL可以推導多字節P比特數據庫/MPP.
Memcached的分支和演化
嵌入式數據庫
- ??Actian PSQL:Pervasive?Software公司開發的ACID兼容的DBMS,在應用程序中嵌入了優化;
- ??BerkeleyDB:為鍵/值數據提供一個高性能的嵌入式數據庫的一個軟件庫;
- ??HanoiDB:Erlang LSM BTree存儲;
- ??LevelDB:谷歌寫的一個快速鍵-值存儲庫,它提供了從字符串鍵到字符串值的有序映射;
- ??LMDB:Symas開發的超快、超緊湊的鍵-值嵌入的式數據存儲;
- ??RocksDB:基于性LevelDB,用于快速存儲的嵌入式持續性鍵-值存儲.
商業智能
- ??BIME Analytics:商業智能云平臺;
- ??Chartio:精益業務智能平臺,用于可視化和探索數據;
- ??datapine:基于云的自助服務商業智能工具;
- ??Jaspersoft:功能強大的商業智能套件;
- ??Jedox Palo:定制的商業智能平臺;
- ??Microsoft:商業智能軟件和平臺;
- ??Microstrategy:商業智能、移動智能和網絡應用軟件平臺;
- ??Pentaho:商業智能平臺;
- ??Qlik:商業智能和分析平臺;
- ??Saiku:開源的分析平臺;
- ??SpagoBI:開源商業智能平臺;
- ??Tableau:商業智能平臺;
- ??Zoomdata:大數據分析;
- ? Jethrodata:交互式大數據分析.
數據可視化
- ??Airpal:用于PrestoDB的網頁UI;
- ??Arbor:利用網絡工作者和jQuery的圖形可視化庫;
- ??Banana:對存儲在Kibana中Solr. Port的日志和時戳數據進行可視化;
- ??Bokeh:一個功能強大的Python交互式可視化庫,它針對要展示的現代web瀏覽器,旨在為D3.js風格的新奇的圖形提供優雅簡潔的設計,同時在大規模數據或流數據集中,通過高性能交互性來表達這種能力;
- ??C3:基于D3可重復使用的圖表庫;
- ??CartoDB:開源或免費增值的虛擬主機,用于帶有強大的前端編輯功能和API的地理空間數據庫;
- ??chartd:只帶Img標簽的反應靈敏、兼容Retina的圖表;
- ??Chart.js:開源的HTML5圖表可視化效果;
- ??Chartist.js:另一個開源HTML5圖表可視化效果;
- ??Crossfilter:JavaScript庫,用于在瀏覽器中探索多元大數據集,用Dc.js和D3.js.效果很好;
- ??Cubism:用于時間序列可視化的JavaScript庫;
- ??Cytoscape:用于可視化復雜網絡的JavaScript庫;
- ??DC.js:維度圖表,和Crossfilter一起使用,通過D3.js呈現出來,它比較擅長連接圖表/附加的元數據,從而徘徊在D3的事件附近;
- ??D3:操作文件的JavaScript庫;
- ??D3.compose:從可重復使用的圖表和組件構成復雜的、數據驅動的可視化;
- ??D3Plus:一組相當強大的可重用的圖表,還有D3.js的樣式;
- ??Echarts:百度企業場景圖表;
- ??Envisionjs:動態HTML5可視化;
- ??FnordMetric:寫SQL查詢,返回SVG圖表,而不是表;
- ??Freeboard:針對IOT和其他Web混搭的開源實時儀表盤構建;
- ??Gephi:屢獲殊榮的開源平臺,可視化和操縱大型圖形和網絡連接,有點像Photoshop,但是針對于圖表,適用于Windows和Mac OS X;
- ??Google Charts:簡單的圖表API;
- ??Grafana:石墨儀表板前端、編輯器和圖形組合器;
- ??Graphite:可擴展的實時圖表;
- ??Highcharts:簡單而靈活的圖表API;
- ??IPython:為交互式計算提供豐富的架構;
- ??Kibana:可視化日志和時間標記數據;
- ??Matplotlib:Python繪圖;
- ??Metricsgraphic.js:建立在D3之上的庫,針對時間序列數據進行最優化;
- ??NVD3:d3.js的圖表組件;
- ??Peity:漸進式SVG條形圖,折線和餅圖;
- ??Plot.ly:易于使用的Web服務,它允許快速創建從熱圖到直方圖等復雜的圖表,使用圖表Plotly的在線電子表格上傳數據進行創建和設計;
- ??Plotly.js:支持plotly的開源JavaScript圖形庫;
- ??Recline:簡單但功能強大的庫,純粹利用JavaScript和HTML構建數據應用;
- ??Redash:查詢和可視化數據的開源平臺;
- ??Shiny:針對R的Web應用程序框架;
- ??Sigma.js:JavaScript庫,專門用于圖形繪制;
- ??Vega:一個可視化語法;
- ??Zeppelin:一個筆記本式的協作數據分析;
- ??Zing Charts:用于大數據的JavaScript圖表庫.
物聯網和傳感器
- ??TempoIQ:基于云的傳感器分析;
- ??2lemetry:物聯網平臺;
- ??Pubnub:數據流網絡;
- ??ThingWorx:ThingWorx 是讓企業快速創建和運行互聯應用程序平臺;
- ??IFTTT:IFTTT 是一個被稱為 “網絡自動化神器” 的創新型互聯網服務,它的全稱是 If this then that,意思是“如果這樣,那么就那樣”;
- ??Evrythng:Evrythng則是一款真正意義上的大眾物聯網平臺,使得身邊的很多產品變得智能化.
文章推薦
- ??NoSQL Comparison(NoSQL 比較)-?Cassandra vs MongoDB vs CouchDB vs Redis vs Riak vs HBase vs Couchbase vs Neo4j vs Hypertable vs ElasticSearch vs Accumulo vs VoltDB vs Scalaris comparison;
- ??Big Data Benchmark(大數據基準)-?Redshift, Hive, Shark, Impala and Stiger/Tez的基準;
- ??The big data successor of the spreadsheet(電子表格的大數據繼承者) – 電子表格的繼承者應該是大數據.
論文
2015 – 2016
- ??2015?–?Facebook?– One Trillion Edges: Graph Processing at Facebook-Scale.(一兆邊:Facebook規模的圖像處理)
2013 – 2014
- ??2014?–?Stanford?–?Mining of Massive Datasets.(海量數據集挖掘)
- ??2013?–?AMPLab?– Presto: Distributed Machine Learning and Graph Processing with Sparse Matrices.?(Presto:?稀疏矩陣的分布式機器學習和圖像處理)
- ??2013?–?AMPLab?– MLbase: A Distributed Machine-learning System.?(MLbase:分布式機器學習系統)
- ??2013?–?AMPLab?– Shark: SQL and Rich Analytics at Scale.?(Shark: 大規模的SQL?和豐富的分析)
- ??2013?–?AMPLab?– ?GraphX: A Resilient Distributed Graph System on Spark.?(GraphX:基于Spark的彈性分布式圖計算系統)
- ??2013?–?Google?– HyperLogLog in Practice: Algorithmic Engineering of a State of The Art Cardinality Estimation Algorithm.?(HyperLogLog實踐:一個藝術形態的基數估算算法)
- ??2013?–?Microsoft?– Scalable Progressive Analytics on Big Data in the Cloud.(云端大數據的可擴展性漸進分析)
- ??2013?–?Metamarkets?– Druid: A Real-time Analytical Data Store.?(Druid:實時分析數據存儲)
- ??2013?–?Google?–?Online, Asynchronous Schema Change in F1.(F1中在線、異步模式的轉變)
- ??2013?–?Google?– F1: A Distributed SQL Database That Scales.?(F1: 分布式SQL數據庫)
- ??2013?–?Google?–?MillWheel: Fault-Tolerant Stream Processing at Internet Scale.(MillWheel: 互聯網規模下的容錯流處理)
- ??2013?–?Facebook?– Scuba: Diving into Data at Facebook.?(Scuba: 深入Facebook的數據世界)
- ??2013?–?Facebook?– Unicorn: A System for Searching the Social Graph.?(Unicorn: 一種搜索社交圖的系統)
- ??2013?–?Facebook?–?Scaling Memcache at Facebook. (Facebook 對 Memcache 伸縮性的增強)
2011 – 2012
- ??2012?–?Twitter?– The Unified Logging Infrastructure for Data Analytics at Twitter.?(Twitter數據分析的統一日志基礎結構)
- ??2012?–?AMPLab?–Blink and It’s Done: Interactive Queries on Very Large Data.?(Blink及其完成:超大規模數據的交互式查詢)
- ??2012?–?AMPLab?–Fast and Interactive Analytics over Hadoop Data with Spark.?(Spark上?Hadoop數據的快速交互式分析)
- ??2012?–?AMPLab?–Shark: Fast Data Analysis Using Coarse-grained Distributed Memory.?(Shark:使用粗粒度的分布式內存快速數據分析)
- ??2012?–?Microsoft?–Paxos Replicated State Machines as the Basis of a High-Performance Data Store.?(Paxos的復制狀態機——高性能數據存儲的基礎)
- ??2012?–?Microsoft?–Paxos Made Parallel.?(Paxos算法實現并行)
- ??2012?–?AMPLab?– BlinkDB:BlinkDB: Queries with Bounded Errors and Bounded Response Times on Very Large Data.(超大規模數據中有限誤差與有界響應時間的查詢)
- ??2012?–?Google?–Processing a trillion cells per mouse click.(每次點擊處理一兆個單元格)
- ??2012?–?Google?–Spanner: Google’s Globally-Distributed Database.(Spanner:谷歌的全球分布式數據庫)
- ??2011?–?AMPLab?–Scarlett: Coping with Skewed Popularity Content in MapReduce Clusters.(Scarlett:應對MapReduce集群中的偏向性內容)
- ??2011?–?AMPLab?–Mesos: A Platform for Fine-Grained Resource Sharing in the Data Center.(Mesos:數據中心中細粒度資源共享的平臺)
- ??2011?–?Google?–Megastore: Providing Scalable, Highly Available Storage for Interactive Services.(Megastore:為交互式服務提供可擴展,高度可用的存儲)
2001 – 2010
- ??2010?–?Facebook?–?Finding a needle in Haystack: Facebook’s photo storage.(探究Haystack中的細微之處:?Facebook圖片存儲)
- ??2010?–?AMPLab?–?Spark: Cluster Computing with Working Sets.(Spark:工作組上的集群計算)
- ??2010?–?Google?– Storage Architecture and Challenges.(存儲架構與挑戰)
- ??2010?–?Google?– Pregel: A System for Large-Scale Graph Processing.(Pregel: 一種大型圖形處理系統)
- ??2010?–?Google?– Large-scale Incremental Processing Using Distributed Transactions and Noti?cations base of Percolator and Caffeine.(使用基于Percolator 和?Caffeine平臺分布式事務和通知的大規模增量處理)
- ??2010?–?Google?– Dremel: Interactive Analysis of Web-Scale Datasets.(Dremel: Web規模數據集的交互分析)
- ??2010?–?Yahoo?–?S4: Distributed Stream Computing Platform.(S4:分布式流計算平臺)
- ??2009?– HadoopDB:An Architectural Hybrid of MapReduce and DBMS Technologies for Analytical Workloads.(混合MapReduce和DBMS技術用于分析工作負載的的架構)
- ??2008?–?AMPLab?– Chukwa: A large-scale monitoring system.(Chukwa: 大型監控系統)
- ??2007?–?Amazon?– Dynamo: Amazon’s Highly Available Key-value Store.(Dynamo: 亞馬遜的高可用的關鍵價值存儲)
- ??2006?–?Google?– The Chubby lock service for loosely-coupled distributed systems.(面向松散耦合的分布式系統的鎖服務)
- ??2006?–?Google?– Bigtable: A Distributed Storage System for Structured Data.(Bigtable: 結構化數據的分布式存儲系統)
- ??2004?–?Google?– MapReduce: Simplied Data Processing on Large Clusters.(MapReduce: 大型集群上簡化數據處理)
- ??2003?–?Google?– The Google File System.(谷歌文件系統)
視頻
數據可視化
- ??數據可視化之美
- ??Noah Iliinsky的數據可視化設計
- ??Hans Rosling’s 200 Countries, 200 Years, 4 Minutes
- ??冰桶挑戰的數據可視化
轉載請注明本頁網址:
http://www.snjht.com/jiaocheng/4364.html