人工智能落地關(guān)鍵：流式推理引擎介紹及對比

　 一鍵部署OpenClaw

DarwinML Inference：

DarwinML Inference流式推理引擎是為人工智能平臺量身定做的商業(yè)化產(chǎn)品。

對于數(shù)據(jù)科學(xué)家而言，它的接口抽象，貼近其思維。不限定底層人工智能框架，給其足夠的自由度。對于復(fù)雜的模型，支持DAG形式的工作流和數(shù)據(jù)流同圖定義，一目了然且方便后續(xù)運營商部署和彈性伸縮。

對于運營商而言，它采用成熟軟件棧和微服務(wù)架構(gòu)，從單機(jī)到超大規(guī)模集群彈性伸縮。它不挑硬件，支持從嵌入式設(shè)備、臺式機(jī)、大型服務(wù)器、云端虛擬機(jī)和容器乃至商業(yè)集群的各種新老硬件平臺。它支持對接模型編譯、小型化等優(yōu)化加速技術(shù)，提升模型的適應(yīng)度，提高單位資源的產(chǎn)出。自動批量功能能充分發(fā)揮人工智能模型批量計算和底層硬件向量加速的功能，即成倍提升系統(tǒng)吞吐量，又不增加數(shù)據(jù)科學(xué)家和運營商的成本。

對于用戶而言，它提供豐富的接入接口，包括通用RESTful到高性能的RPC，支持從Python和Java的SDK。對于低延遲的場景，能提供毫秒級的相應(yīng)。對于高并發(fā)的場景，支持線性在線自動擴(kuò)容。

MetaFlow:

MetaFlow是Netflix開源的一款旨在幫助數(shù)據(jù)科學(xué)家開發(fā)管理其項目的Python庫。他側(cè)重于減輕數(shù)據(jù)科學(xué)家在開發(fā)、管理數(shù)據(jù)科學(xué)項目時，對非數(shù)據(jù)科學(xué)類其他工程領(lǐng)域的技能要求與投入。使之能關(guān)注于數(shù)據(jù)科學(xué)領(lǐng)域。

對于數(shù)據(jù)科學(xué)家而言，MetaFlow提供的編程規(guī)范和接口，將人工智能模型及相關(guān)處理的流程以工作流的形式組織起來，其他的事情，都由其后端運營商負(fù)責(zé)。

對于運營商而言，MetaFlow深度集成Amazon AWS，且是當(dāng)前唯一支持的運營商，對于需要商用甚至調(diào)試的場景，都需要自己在AWS里面操作，完成存儲、計算、通訊等適配，才能實現(xiàn)人工智能模型的服務(wù)化，對接終端用戶。此外，MetaFlow里面的工作流，不處理數(shù)據(jù)流，完全依賴AWS。

對于終端用戶而言，MetaFlow只提供了client，用以在python代碼級別發(fā)起工作流調(diào)用。對于商用而言，相對缺少更加便捷豐富的接入方式。

AirFlow：

AirFlow是Airbnb開源的一款工作流系統(tǒng)，它基礎(chǔ)功能簡單，通過插件的形式支持各種語言和執(zhí)行端。

對于數(shù)據(jù)科學(xué)家而言，它不是一款專門為期設(shè)計系統(tǒng)，需要引用一系列列插件、甚至是開發(fā)一些插件，才能完成與數(shù)據(jù)科學(xué)家及其人工智能模型應(yīng)用的對接。和MetaFlow一樣，它的工作流也只是涵蓋業(yè)務(wù)層邏輯，不處理數(shù)據(jù)流，它通過插件支持各主流云平臺，例AWS、Azure、GCP等，也有著和MetaFlow相同的問題，對數(shù)據(jù)科學(xué)家不太友好，比MetaFlow糟糕的是，它的集成相對MetaFlow來說要晦澀且難用。

對運營商而言，AirFlow更像是一個相對專業(yè)的底層工作流管理平臺，但對于人工智能推理服務(wù)，他不是專業(yè)的，缺少直接、簡單、易用的東西，比MetaFlow更為不及。

對于終端用戶而言，AirFlow提供比較豐富的訪問接口，相對更友好。

MLFlow：

MLFlow是有Databricks開源的一款機(jī)器學(xué)習(xí)生命周期管理平臺，推理服務(wù)是其功能之一。

對于數(shù)據(jù)科學(xué)家而言，MLFlow是一個比較簡單易用的機(jī)器學(xué)習(xí)平臺，在推理服務(wù)環(huán)節(jié)，支持將同平臺的模型導(dǎo)出為其標(biāo)準(zhǔn)的格式，例如Python Function、Scikit-learn、pyTorch、Tensorflow等，通過其部署工具，在支持的運行平臺服務(wù)化。對比其他的推理引擎，其主要的弱勢是模型從概念上不是基于工作流的，在構(gòu)建復(fù)雜的中大型模型推理服務(wù)的時候，需要數(shù)據(jù)科學(xué)家自己解決工作流的問題。此外，同MetaFlow和AirFlow一樣，他也不解決數(shù)據(jù)流的問題，需要數(shù)據(jù)科學(xué)家結(jié)合運營商的運行平臺自己解決。

對于運營商而言，MLFlow支持4種部署方式，本地單機(jī)部署、Azure、Amazon SageMaker、Apache Spark UDF，但只有本地單機(jī)部署支持多種格式，其他云端、集群部署都只支持Python Function格式。這提高了商業(yè)化運行時，對數(shù)據(jù)科學(xué)家建模時的格式要求，削弱了MLFlow在建模階段的優(yōu)勢。

對于終端用戶而言，MLFlow只提供了RESTFul接口，在要求大流量、高性能、低延時的場景，還是缺少一些其他的選擇。

申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！