北京軟件開發除Hadoop外你還需要知道的9個大數據技術 GTLC全球技術領導力峰會 Hadoop是大數據領域較流行的技術，但並非唯一。還有很多其他技術可用於解決大數據問題。除瞭Apache Hadoop外，另外9個大數據技術也是必須要瞭解的。

　　Apache Samza

　　Google Cloud Data Flow

　　StreamSets

　　Tensor Flow

　　Apache NiFi

　　Druid

　　LinkedIn WhereHows

　　Microsoft Cognitive Services

　　Apache Flink：是一個高效、分布式、基於Java實現的通用大數據分析引擎，它具有分布式MapReduce一類平台的高效性、靈活性和擴展性以及並(bìng)行數據庫查詢優化方案，它支持批量和基於流的數據分析，且提供瞭(le)基於Java和Scala的API。這是一種由社區驅動的分布式大數據分析開源框架，類似於Apache Hadoop和Apache Spark。它的引擎可借助數據流和内存中(in-memory)處理與疊代操作改善性能。目前Apache Flink已成爲一個頂級項目(Top Level Project,TLP)，於2014年4月被納入Apache孵化器，目前在全球範圍内有很多貢獻者。

　　Flink受到瞭(le)MPP數據庫技術(Declaratives、Query Optimizer、Parallel in-memory、out-of-core 算法)和Hadoop MapReduce技術(Massive scale out, User Defined functions, Schema on Read)的啓發，有很多獨特功能(Streaming, Iterations, Dataflow, General API)。詳細瞭(le)解Apache Samza：是一個開源、分布式的流處理框架，它使用開源分布式消息處理系統Apache Kafka來實現消息服務，並(bìng)使用資源管理器Apache Hadoop Yarn實現容錯處理、處理器隔離、安全性和資源管理。該技術由LinkedIn開發，較初目的是爲瞭(le)解決Apache Kafka在擴展能力方面存在的問題，包含諸如Simple API、Managed state、Fault Tolerant、Durable messaging、Scalable、Extensible，以及Processor Isolation等功能。

　　相關廠(chǎng)商内容滴滴出行iOS客戶端架構演進之路!微信客戶端如何應對弱網絡!函數式編(biān)程中的Swift與Swift中的函數式編(biān)程!你離成爲一位合格的技術領導者還有多遠?國際範 較前沿 不容錯過的容器技術盛會相關贊助商

　　GMTC全球移動技術大會2016年6月24日-25日，北京，點擊瞭(le)解詳情!Samza的代碼可作爲Yarn作業運行，還可以實施StreamTask接口，借此定義process()調用。StreamTask可以在任務實例内部運行，其本身也位於一個Yarn容器内。詳細瞭(le)解Cloud Dataflow：Dataflow是一種原生的Google Cloud數據處理服務，是一種構建、管理和優化複雜數據流水線的方法，用於構建移動應用，調試、追蹤和監控産品級雲應用。它採用瞭(le)Google内部的技術Flume和MillWhell，其中Flume用於數據的高效並(bìng)行化處理，而MillWhell則用於互聯網級别的帶有很好容錯機制的流處理。該技術提供瞭(le)簡單的編程模型，可用於批處理和流式數據的處理任務。該技術提供的數據流管理服務可控制數據處理作業的執行，數據處理作業可使用Data Flow SDK(Apache Beam)創建。

　　Google Data Flow爲數據相關的任務提供瞭(le)管理、監視和安全能力。Sources和Sink可在管線中抽象地執行讀寫操作，管線封裝而成的整個計算序列可以接受外部來源的某些輸入數據，通過對數據進行轉換生成一定的輸出數據。瞭(le)解詳情StreamSets：StreamSets是一種專門針對傳輸中數據進行過優化的數據處(chù)理平台，提供瞭(le)可視化數據流創建模型，通過開源的方式發行。該技術可部署在内部環境或雲中，提供瞭(le)豐富的監視和管理界面。

　　數據收集器可使用數據管線實時地流式傳輸並(bìng)處理數據，管線描述瞭(le)數據從源頭到較終目标的流動方式，可包含來源、目标，以及處理程序。數據收集器的生命周期可通過管理控制台進行控制。瞭(le)解詳情TensorFlow：是繼DistBelief之後的第二代機器學習系統。TensorFlow源自Google旗下的Google Brain項目，主要目标在於爲Google全公司的不同産品和服務應用各種類型的神經網絡機器學習能力。支持分布式計算的TensorFlow能夠使用戶在自己的機器學習基礎結構中訓練分布式模型。該系統以高性能的gRPC數據庫爲支撐，與較近發布的Google雲機器學習系統互補，使用戶能夠利用Google雲平台，對TensorFlow模型進行訓練並(bìng)提供服務。這是一種開源軟件庫，可使用數據流圖譜(data flow graph)進行數值運算，這種技術已被包括DeepDream、RankBrain、Smart Replyused在内的各種Google項目所使用。

　　數據流圖譜使用由節點(Node)和邊緣(Edge)組成的有向圖(Directed graph)描述數值運算。圖譜中的節點代表數值運算，邊緣代表負責在節點之間進行通信的多維數據陣列(張量，Tensor)。邊緣還描述瞭(le)節點之間的輸入/輸出關系。“TensorFlow”這個名稱蘊含瞭(le)張量在圖譜上流動的含義。瞭(le)解詳情Druid：Druid是一個用於大數據實時查詢和分析的高容錯、高性能開源分布式系統，旨在快速處理大規模的數據，並(bìng)能夠實現快速查詢和分析，誕生於2011年，包含諸如驅動交互式數據應用程序，多租戶：大量並(bìng)發用戶，擴展能力：每天上萬億事件，次秒級查詢，實時分析等功能。Druid還包含一些特殊的重要功能，例如低延遲數據攝入、快速聚合、任意切割能力、高可用性、近似計算與精確計算等。創建Druid的較初意圖主要是爲瞭(le)解決查詢延遲問題，當時試圖使用Hadoop來實現交互式查詢分析，但是很難滿足實時分析的需要。而Druid提供瞭(le)以交互方式訪問數據的能力，並(bìng)權衡瞭(le)查詢的靈活性和性能而採取瞭(le)特殊的存儲格式。(點擊放大圖像)

　　該技術還提供瞭(le)其他實用功能，例如實時節點、曆史節點、Broker節點、Coordinator節點、使用基於(yú)JSON查詢語言的索引服務。瞭(le)解詳情Apache NiFi：Apache NiFi是一套強大可靠的數據處理和分發系統，可用於(yú)對數據的流轉和轉換創建有向圖。借助該系統可以用圖形界面創建、監視、控制數據流，有豐富的配置選項可供使用，可在運行時修改數據流，動态創建數據分區。此外還可以對數據在整個系統内的流動進行數據起源跟蹤。通過開發自定義組件，還可輕松對其進行擴展。(點擊放大圖像)

　　Apache NiFi的運轉離不開諸如FlowFile、Processor，以及Connection等概念。瞭(le)解詳情LinkedIn WhereHows：WhereHows提供帶元數據搜索的企業編錄(Enterprise catalog)，可以讓您瞭(le)解數據存儲在哪裏，是如何保存到那裏的。該工具可提供協作、數據血統分析等功能，並(bìng)可連接至多種數據源和提取、加載和轉換(ETL)工具。(點擊放大圖像)

　　該工具爲數據發現提供瞭(le)Web界面，支持API的後端服務器負責控制元數據的爬網(Crawling)以及與其他系統的集成。瞭(le)解詳情Microsoft Cognitive Services：該技術源自Project Oxford和Bing，提供瞭(le)22種認知計算API，主要分類包括：視覺、語音、語言、知識，以及搜索。該技術已集成於(yú)Cortana Intelligence Suite。(點擊放大圖像)

　　這是一種開源技術，提供瞭(le)22種不同的認知計算REST API，並(bìng)爲開發者提供瞭(le)适用於Windows、IOS、Android以及Python的SDK。