一 、 再 談 N PBs 和 T AP
在上篇文章(流量可視化如何做到1+1+1>3)中我們分析過由TAP(分流器)、NPBs和業(yè)務分析系統(tǒng)三者組成的1+1+1解決方案架構(gòu)。其中TAP產(chǎn)品主要負責分流和負載,而NPBs產(chǎn)品主要負責提取和分析。在國內(nèi)的應用語境中,一般我們談到TAP產(chǎn)品會稱之為“網(wǎng)絡分流器”,而談到NPBs產(chǎn)品會稱之為“流量探針、流量傳感器、流量可視化”等。在進一步介紹SDN驅(qū)動方案之前,筆者想先就分流器產(chǎn)品和流量探針產(chǎn)品之間的區(qū)別,做個簡要的說明。
“1+1+1”解決方案架構(gòu)示意圖
分流器: 前級 、 偏重 載荷 層 面 、 高性能 、 硬件方案
從功能方面分析,分流器產(chǎn)品提供三個最重要的特性,第一個是編輯 報文處理 ,例如增減或刪除VLAN/VxLAN/NVGRE/GRE/ERSPAN等協(xié)議標簽、編輯報文的IP/MAC地址、在報文中增加字段(例如timestamp)、報文截斷、隧道封裝等。第二個是分流負載 ,例如多進單出、單進多出、多進多出(如M:N模型)、HASH負載、分擔負載等。第三個是載荷級別 D PI ,例如基于載荷內(nèi)容進行數(shù)據(jù)脫敏、數(shù)據(jù)去重、同源同宿、會話和分片跟蹤等,高性能方案中分流器產(chǎn)品可以提供N段關(guān)鍵字的全包浮動搜索。這里要解釋的是,一般意義的上分流器支持的內(nèi)容識別僅停留在P ayload 級別 上,實現(xiàn)在整個報文的固定位置匹配精確或浮動的特征碼,此分析粒度不足以直接服務安全和性能分析 。舉例來說,當APT分析系統(tǒng)需要提取所有包含.doc和.pdf文件作為附件的郵件內(nèi)容,并計算文件HASH值或?qū)⒃嘉募蠄髸r,就不適合直接使用分流器解決問題。
從部署位置上看,分流器一般位于前級位置,需要處理T/10T級別的大流量,所以分流器產(chǎn)品常采用ATCA架構(gòu)/FPGA芯片等超高性能硬件方案,相應地,高性能要求也降低了其功能靈活性和豐富度。
流量探針 : 后級 、偏重 應用 內(nèi)容層面、豐富功能特性 、業(yè)務系統(tǒng)對接
在部署位置上,NPBs產(chǎn)品一般位于分流器/交換機產(chǎn)品的后級,偏重于流量應用層內(nèi)容解析, 具備較為豐富的功能特性 ,而絕對處理性能相比分流器產(chǎn)品較低 。例如,當業(yè)務系統(tǒng)需要分析應用表現(xiàn)和鏈路質(zhì)量時,往往需要采集設備提供包含區(qū)域鏈路、應用流速、應用排名、流量占比、應用延時、協(xié)議重傳等等內(nèi)容的綜合性信息,或者當業(yè)務系統(tǒng)需要進行安全分析的時候,需要采集設備學習和建立流量模型,識別流量應用層內(nèi)容,并在流量超出模型范圍一定比例閾值或者出現(xiàn)特定應用內(nèi)容時采取告警和信息上報。類似這樣的業(yè)務需求,需要NPBs產(chǎn)品能夠提供比分流器產(chǎn)品更深層的分析能力,不僅需要提供L 7 應用層級別的內(nèi)容識別能力 ,還需要支持排名、建模、異常發(fā)現(xiàn)等數(shù)據(jù)分析能力 。正是憑借這些能力,NPBs產(chǎn)品才能夠為復雜的業(yè)務分析和安全分析提供原始材料。
二 、 全 NPBs 方案的缺點
了解了分流器產(chǎn)品和NPBs產(chǎn)品的主要區(qū)別后,我們繼續(xù)討論一種應用場景:多分支機構(gòu)組網(wǎng)下的業(yè)務分析。需求如下圖所示:假設某組織有50家分支機構(gòu),通過廣域網(wǎng)專線和互聯(lián)網(wǎng)VPN方式混合搭建總部和分支之間的通道,內(nèi)網(wǎng)中有數(shù)百個業(yè)務系統(tǒng)正在使用,用戶需要進行流量采集,并圍繞業(yè)務使用和內(nèi)網(wǎng)安全進行數(shù)據(jù)分析。
多分支機構(gòu)組網(wǎng)示意圖
針對此需求,由于所有用戶和業(yè)務系統(tǒng)的交互流量都要進行分析,所以看似合理方案應該是在50個分支機構(gòu)和總部的出口設備上旁路部署NPBs產(chǎn)品,進行流量采集分析,示意圖如下:
全NPBs組網(wǎng)方案示意圖
但是如果仔細考慮,會發(fā)現(xiàn)上述全NPBs方案還有不少的問題,例如:
無法實現(xiàn)靈活的按需采集
當只需要分析某些特定的分公司或應用系統(tǒng)時(可能正在發(fā)生緊急問題),或單獨針對新上線業(yè)務進行分析時,無法簡便地做到只牽引需要的流量,這導致盡管部署了全NPBs方案,但業(yè)務實時生效的NPBs設備比例很低,造成巨大資源浪費。
流量初步過濾處理能力不足
很多NPBs產(chǎn)品偏重于流量識別和數(shù)據(jù)分析,但在前級處理過濾流量的能力不足,在使用全NPBs方案時,對去重、截斷、負載等操作支持不佳,導致輸入的無效流量過大,NPBs分析的效率較低。
方案造價較高
相比分流器方案,NPBs產(chǎn)品處理性能較低,而且由于無法實現(xiàn)按需采集和初級過濾,往往實際分析僅100Mbps的特定業(yè)務流量時,卻需要按照鏈路配置1Gbps性能的NPBs產(chǎn)品,造成整體產(chǎn)品選型成本偏高。
三 、 下一代 N PBs 產(chǎn)品 的要素
與下一代防火墻的概念類似,為了解決NPBs產(chǎn)品面臨的一些問題,Gigamon、Big Switch Networks等NPBs廠商提都出了下一代NPBs產(chǎn)品的概念和要素:
1 、 融合 T AP 能力
越來越多的NPBs產(chǎn)品開始支持分流器產(chǎn)品的特性,增加流量初級過濾的能力,反之,越來越多的分流器產(chǎn)品也在支持NPBs產(chǎn)品的特性,從而提升流量深層識別能力。雖然從架構(gòu)層面上看,兩款產(chǎn)品在各自的專用領(lǐng)域基本無法做到互相替代,但在較通用的場景下,例如企業(yè)級廣域網(wǎng)和數(shù)據(jù)中心,對專用的高性能分流器并不存在剛需,此時融合初步分流器能力的NPBs產(chǎn)品就會非常適用。
2 、 深層解析和可視化呈現(xiàn)
IXIA Vision系列NPBs產(chǎn)品
在IXIA的NPBs產(chǎn)品序列中,其可視化能力定義為四個層級,從網(wǎng)絡層、報文層、安全層和應用層逐漸遞進,作為產(chǎn)品的高附加值特性存在,可見深層解析能力和可視化呈現(xiàn)能力是NPBs產(chǎn)品的重要指標??蛻魧PBs產(chǎn)品的要求不再僅停留在網(wǎng)絡層和報文層的通用功能,而是需要深入到業(yè)務層面進行定制化識別,以及較強的本地可視化呈現(xiàn)能力。
3 、 安全和性能分析融合
關(guān)于NPBs產(chǎn)品的下游分析系統(tǒng),筆者目前觀察到兩個主要應用方向,其中一個是性能分析方向,采集各個層面的流量瞬時值、流量統(tǒng)計值、業(yè)務延時、抖動、開銷、錯誤、原始報文等信息,提供給NPM/APM等各類性能管理產(chǎn)品;另一個方向是安全方向,通過采集流量中的IP地址、URL、文件HASH、HTTP協(xié)議詳細內(nèi)容等信息,實現(xiàn)入侵行為、病毒查殺、威脅情報、文件沙箱等安全產(chǎn)品。不論是性能方向還是安全方向,NPBs產(chǎn)品都需要與下游產(chǎn)品進行深度融合,按照不同下游產(chǎn)品的要求進行數(shù)據(jù)接口對接,完成從流量到業(yè)務的銜接。
4 、 SDN 集中控制 能力
對于業(yè)務節(jié)點較為分散、不同節(jié)點間業(yè)務差異較大、節(jié)點上的業(yè)務按需變更的場景,SDN驅(qū)動是通用的解決方案,NPBs產(chǎn)品的部署與上述場景符合度很高。對于流量分析業(yè)務,除了按照固定的規(guī)律將不需要的流量前級過濾掉之外,也需要按照業(yè)務需求實時變更下發(fā)分析策略,一旦將方案從全流量分析變?yōu)榘葱璺治觯瑔吸cNPBs產(chǎn)品的性能要求即可降低,從而降低整體方案的成本。
四 、 Big Switch 提出的 S DN 驅(qū)動 下一代 NPBs 集群 部署 方案
針對上述問題,筆者關(guān)注到NPBs領(lǐng)域的廠商Big Switch Networks提出了針對企業(yè)私有云場景的Big Monitoring Fabric解決方案,該方案的核心為SDN驅(qū)動的下一代NPBs集群,主要內(nèi)容包括:
1 、 NPBs 產(chǎn)品集群 部署
與機框式路由器和交換機的設計類似,除了背板外,機框式NPBs產(chǎn)品也會提供過濾接口板(Filter Ports)、分發(fā)接口板(Delivery Ports)和業(yè)務接口板(Service Ports),分別實現(xiàn)前級過濾、復制分發(fā)和業(yè)務處理,如圖所示。
機框式NPBs產(chǎn)品拆分示意圖
當我們把每一部分拆分為獨立NPBs產(chǎn)品,并使用SDN控制器進行整體管理時,就得到了一張跨廣域網(wǎng)的NPBs產(chǎn)品集群網(wǎng)絡:
SDN驅(qū)動下一代NPBs產(chǎn)品集群部署方案示意圖
在這張網(wǎng)絡中,進一步將端口細化為如下角色:
Tunnel Ports
跨廣域網(wǎng)傳輸時,在NPBs產(chǎn)品間一般使用隧道互連,例如L2-GRE Tunnel,這些隧道上的端口被歸類為Tunnel Ports,可見下一代NPBs產(chǎn)品也應當考慮支持常見的隧道技術(shù)。
Filter Ports
用于流量分析前的前級過濾,進行報文去重、解封裝等操作,根據(jù)實際業(yè)務要求將不需要的流量先去除,這部分其實是融合了傳統(tǒng)分流器產(chǎn)品的特性。
Delivery Ports & Service Ports
完成流量識別和數(shù)據(jù)分析后,將信息以數(shù)據(jù)接口的形式上送到各類分析服務系統(tǒng),或者將過濾出的流量發(fā)送給高性能NPBs產(chǎn)品進行匯聚。另外,對于性能分析和流量回溯業(yè)務,在Deliver Ports和Service Ports上還需要上傳NetStream/Netflow甚至原始報文等信息,這也對NPBs產(chǎn)品提出了更高的要求。
2 、 SDN 控制器總體調(diào)度
在多臺NPBs產(chǎn)品使用獨立方式部署的情況下,為了將所有NPBs產(chǎn)品進行統(tǒng)一納管協(xié)作,需要引入SDN控制器進行總體調(diào)度,從而將多臺產(chǎn)品組成一臺邏輯上的大NPBs產(chǎn)品(Big Monitoring Fabric ),這種模式具備以下優(yōu)勢:
流量按需調(diào)度
通過SDN控制器下發(fā)策略,可以實時控制流量調(diào)度的范圍,提前將不關(guān)心流量過濾,盡量保持只處理需要的流量,避免被動的全流量分析。通過按需調(diào)度,單臺NPBs產(chǎn)品處理性能要求降低,從而實現(xiàn)成本降低。
面向意圖的北向接口(Intent NBI)
在私有云環(huán)境下,業(yè)務上下線變更頻繁,催生了不少NPBs產(chǎn)品的分析需求,例如對于新上線業(yè)務的及時發(fā)現(xiàn),以及快速應用識別和應用歸類。當前,SDN控制器已經(jīng)逐漸實現(xiàn)了系統(tǒng)能力的開放,力圖實現(xiàn)面向用戶網(wǎng)絡操作意圖的北向接口(Intent NBI)。SDN控制器通過北向接口與用戶的業(yè)務系統(tǒng)對接后,將用戶高層次的業(yè)務意圖轉(zhuǎn)化為NPBs產(chǎn)品部署策略進行下發(fā),實現(xiàn)自動化管理。
業(yè)務平滑擴展
在SDN驅(qū)動模式下,不論是NPBs產(chǎn)品或是業(yè)務分析工具鏈需要部署變更,都可以在現(xiàn)有架構(gòu)下平滑變動,無需改變底層配置。相比高端機框式的NPBs產(chǎn)品,集群內(nèi)的NPBs產(chǎn)品部署更加分散,單點的變更更加靈活,可以實現(xiàn)業(yè)務平滑升級擴展。
3 、 下一代 N PBs 優(yōu)勢
在方案中,下一代NPBs產(chǎn)品充分發(fā)揮了相對傳統(tǒng)產(chǎn)品的優(yōu)勢,通過融合TAP功能在Filter Ports進行早期過濾,并通過Openflow協(xié)議等方式實現(xiàn)SDN控制器統(tǒng)一管控,解決了按需部署和平滑變更等問題。在后端,下一代NPBs提供豐富的融合方式,如NetStream/Netflow、Syslog、文件上傳等,與多種業(yè)務分析工具鏈進行有機融合。
五、 業(yè)界觀察
作為老牌SDN玩家廠商,Big Switch Networks早在2012年就發(fā)布了業(yè)界著名的完全開源SDN控制器Floodlight,憑借強大的穩(wěn)定性和易用性,以及對Openflow協(xié)議的良好支持,F(xiàn)loodlight已經(jīng)成為業(yè)界主流的SDN控制器之一。Big Switch Networks基于自己強大的SDN能力,在各個領(lǐng)域推出了SDN驅(qū)動的解決方案,而在網(wǎng)絡流量領(lǐng)域,Big Switch Networks首先推出了分流器TAP產(chǎn)品,然后又引領(lǐng)了下一代NPBs產(chǎn)品發(fā)展,充分發(fā)揮了其Cloud-First Networking (CFN) 方向上的技術(shù)特長。
Big Switch Networks公司解決方案
在國內(nèi),與Big Switch Networks發(fā)展路線相似,同樣具備強大SDN基因的盛科網(wǎng)絡,也推出了SDN驅(qū)動的分流器TAP 產(chǎn)品以及SDN安全服務鏈產(chǎn)品。
六 、 結(jié)語
觀察由分流負載+提取分析+數(shù)據(jù)應用組成的1+1+1>3整體方案,三個組成產(chǎn)品之間的邊界正在逐漸模糊,存在進一步深度融合的趨勢。
隨著SDN產(chǎn)業(yè)成熟,各類SDN應用方向已經(jīng)進入落地應用階段,比如近期在國內(nèi)大火的SD-WAN方向就是一個例子。對于國內(nèi)眾多的流量分析方向產(chǎn)品來說,不論是分流器產(chǎn)品或是NPBs產(chǎn)品,引入SDN相關(guān)技術(shù)驅(qū)動都不失為一個可以考慮的技術(shù)方向。
關(guān)于安博通
北京安博通科技股份有限公司(簡稱“安博通”),成立于2011年,以“看透安全,體驗價值”理念為核心,是國內(nèi)領(lǐng)先的可視化網(wǎng)絡安全專用核心系統(tǒng)產(chǎn)品與安全服務提供商。其自主研發(fā)的SPOS可視化網(wǎng)絡安全系統(tǒng)套件,已成為眾多一線廠商與大型解決方案集成商最廣泛搭載的網(wǎng)絡安全系統(tǒng)平臺,是國內(nèi)眾多部委與央企安全態(tài)勢感知平臺的核心組件與數(shù)據(jù)來源。
更多詳情,敬請查閱:www.abtnetworks.com
申請創(chuàng)業(yè)報道,分享創(chuàng)業(yè)好點子。點擊此處,共同探討創(chuàng)業(yè)新機遇!