人工智能落地關(guān)鍵：流式推理引擎介紹及對(duì)比

　 一鍵部署OpenClaw

DarwinML Inference：

DarwinML Inference流式推理引擎是為人工智能平臺(tái)量身定做的商業(yè)化產(chǎn)品。

對(duì)于數(shù)據(jù)科學(xué)家而言，它的接口抽象，貼近其思維。不限定底層人工智能框架，給其足夠的自由度。對(duì)于復(fù)雜的模型，支持DAG形式的工作流和數(shù)據(jù)流同圖定義，一目了然且方便后續(xù)運(yùn)營(yíng)商部署和彈性伸縮。

對(duì)于運(yùn)營(yíng)商而言，它采用成熟軟件棧和微服務(wù)架構(gòu)，從單機(jī)到超大規(guī)模集群彈性伸縮。它不挑硬件，支持從嵌入式設(shè)備、臺(tái)式機(jī)、大型服務(wù)器、云端虛擬機(jī)和容器乃至商業(yè)集群的各種新老硬件平臺(tái)。它支持對(duì)接模型編譯、小型化等優(yōu)化加速技術(shù)，提升模型的適應(yīng)度，提高單位資源的產(chǎn)出。自動(dòng)批量功能能充分發(fā)揮人工智能模型批量計(jì)算和底層硬件向量加速的功能，即成倍提升系統(tǒng)吞吐量，又不增加數(shù)據(jù)科學(xué)家和運(yùn)營(yíng)商的成本。

對(duì)于用戶而言，它提供豐富的接入接口，包括通用RESTful到高性能的RPC，支持從Python和Java的SDK。對(duì)于低延遲的場(chǎng)景，能提供毫秒級(jí)的相應(yīng)。對(duì)于高并發(fā)的場(chǎng)景，支持線性在線自動(dòng)擴(kuò)容。

MetaFlow:

MetaFlow是Netflix開(kāi)源的一款旨在幫助數(shù)據(jù)科學(xué)家開(kāi)發(fā)管理其項(xiàng)目的Python庫(kù)。他側(cè)重于減輕數(shù)據(jù)科學(xué)家在開(kāi)發(fā)、管理數(shù)據(jù)科學(xué)項(xiàng)目時(shí)，對(duì)非數(shù)據(jù)科學(xué)類(lèi)其他工程領(lǐng)域的技能要求與投入。使之能關(guān)注于數(shù)據(jù)科學(xué)領(lǐng)域。

對(duì)于數(shù)據(jù)科學(xué)家而言，MetaFlow提供的編程規(guī)范和接口，將人工智能模型及相關(guān)處理的流程以工作流的形式組織起來(lái)，其他的事情，都由其后端運(yùn)營(yíng)商負(fù)責(zé)。

對(duì)于運(yùn)營(yíng)商而言，MetaFlow深度集成Amazon AWS，且是當(dāng)前唯一支持的運(yùn)營(yíng)商，對(duì)于需要商用甚至調(diào)試的場(chǎng)景，都需要自己在AWS里面操作，完成存儲(chǔ)、計(jì)算、通訊等適配，才能實(shí)現(xiàn)人工智能模型的服務(wù)化，對(duì)接終端用戶。此外，MetaFlow里面的工作流，不處理數(shù)據(jù)流，完全依賴AWS。

對(duì)于終端用戶而言，MetaFlow只提供了client，用以在python代碼級(jí)別發(fā)起工作流調(diào)用。對(duì)于商用而言，相對(duì)缺少更加便捷豐富的接入方式。

AirFlow：

AirFlow是Airbnb開(kāi)源的一款工作流系統(tǒng)，它基礎(chǔ)功能簡(jiǎn)單，通過(guò)插件的形式支持各種語(yǔ)言和執(zhí)行端。

對(duì)于數(shù)據(jù)科學(xué)家而言，它不是一款專(zhuān)門(mén)為期設(shè)計(jì)系統(tǒng)，需要引用一系列列插件、甚至是開(kāi)發(fā)一些插件，才能完成與數(shù)據(jù)科學(xué)家及其人工智能模型應(yīng)用的對(duì)接。和MetaFlow一樣，它的工作流也只是涵蓋業(yè)務(wù)層邏輯，不處理數(shù)據(jù)流，它通過(guò)插件支持各主流云平臺(tái)，例AWS、Azure、GCP等，也有著和MetaFlow相同的問(wèn)題，對(duì)數(shù)據(jù)科學(xué)家不太友好，比MetaFlow糟糕的是，它的集成相對(duì)MetaFlow來(lái)說(shuō)要晦澀且難用。

對(duì)運(yùn)營(yíng)商而言，AirFlow更像是一個(gè)相對(duì)專(zhuān)業(yè)的底層工作流管理平臺(tái)，但對(duì)于人工智能推理服務(wù)，他不是專(zhuān)業(yè)的，缺少直接、簡(jiǎn)單、易用的東西，比MetaFlow更為不及。

對(duì)于終端用戶而言，AirFlow提供比較豐富的訪問(wèn)接口，相對(duì)更友好。

MLFlow：

MLFlow是有Databricks開(kāi)源的一款機(jī)器學(xué)習(xí)生命周期管理平臺(tái)，推理服務(wù)是其功能之一。

對(duì)于數(shù)據(jù)科學(xué)家而言，MLFlow是一個(gè)比較簡(jiǎn)單易用的機(jī)器學(xué)習(xí)平臺(tái)，在推理服務(wù)環(huán)節(jié)，支持將同平臺(tái)的模型導(dǎo)出為其標(biāo)準(zhǔn)的格式，例如Python Function、Scikit-learn、pyTorch、Tensorflow等，通過(guò)其部署工具，在支持的運(yùn)行平臺(tái)服務(wù)化。對(duì)比其他的推理引擎，其主要的弱勢(shì)是模型從概念上不是基于工作流的，在構(gòu)建復(fù)雜的中大型模型推理服務(wù)的時(shí)候，需要數(shù)據(jù)科學(xué)家自己解決工作流的問(wèn)題。此外，同MetaFlow和AirFlow一樣，他也不解決數(shù)據(jù)流的問(wèn)題，需要數(shù)據(jù)科學(xué)家結(jié)合運(yùn)營(yíng)商的運(yùn)行平臺(tái)自己解決。

對(duì)于運(yùn)營(yíng)商而言，MLFlow支持4種部署方式，本地單機(jī)部署、Azure、Amazon SageMaker、Apache Spark UDF，但只有本地單機(jī)部署支持多種格式，其他云端、集群部署都只支持Python Function格式。這提高了商業(yè)化運(yùn)行時(shí)，對(duì)數(shù)據(jù)科學(xué)家建模時(shí)的格式要求，削弱了MLFlow在建模階段的優(yōu)勢(shì)。

對(duì)于終端用戶而言，MLFlow只提供了RESTFul接口，在要求大流量、高性能、低延時(shí)的場(chǎng)景，還是缺少一些其他的選擇。

申請(qǐng)創(chuàng)業(yè)報(bào)道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！