近日，自然語言處理領域權威數據集SuperGLUE最新榜單排名更新。Google預訓練模型T5保持第一，中國AI創(chuàng)業(yè)公司追一科技AI Lab團隊超越Facebook AI，躍居榜單第二。值得注意的是，相比谷歌T5等超大規(guī)模研究型模型，追一此次登榜的RoBERTa-mtl-adv模型在商業(yè)化能力也非常強勁，相關技術已經落地到追一科技的AI數字員工產品線上，持續(xù)賦能銀行、保險、證券、零售、地產、能源，教育，互聯網等多個行業(yè)。
追一科技躍居SuperGLUE測試榜第二
SuperGLUE(Super General Language Understanding Evaluation)是當下NLP領域難度最大，權威性最高，含金量最足的測評標準之一 ，由紐約大學、華盛頓大學以及谷歌旗下的DeepMind聯合Facebook作為主要發(fā)起人推出，最大程度涵蓋了現實生活中可能遇到的不同類型的NLP任務，旨在更真實地反映當前最前沿的NLP技術可以達到的認知智能水平。
追一科技在為企業(yè)提供智能交互服務的過程中，技術和應用互相驅動，將實際商業(yè)化應用中總結出的多任務學習、對抗訓練、知識蒸餾等技術手段和經驗融入到參賽模型中，并在SuperGLUE測評數據集上拿到第二的成績。
除去作為參照的人類水平，目前排名榜單第一的是Google的T5模型。從學術研究看，T5模型達到了目前“實驗室智能”的最好水平，但如果考慮商用，T5需要耗費大量的算力，且模型自身體積過于龐大，目前還不能落地到實際業(yè)務場景中，缺少實際的商業(yè)應用價值。
而追一科技通過多任務學習、對抗訓練以及知識蒸餾的方式，使得RoBERTa-mtl-adv模型大小合理，效果僅次于Google的T5。同時，相關技術也落地到了追一科技AI數字員工的產品線上。就SuperGLUE排名而言，可以說追一科技的RoBERTa-mtl-adv模型在目前全球具有實際落地能力的NLP模型中效果最好，排名最高。
“學霸”模型的商業(yè)化能力
SuperGLUE測試項目并非是“花拳繡腿”，而是實實在在考驗模型通用能力的“鐵人三項”;參加SuperGLUE也并非只是為了刷新評分，更重要的是檢驗當前技術能否很好地落地到實際應用場景中去。
SuperGLUE覆蓋了問答、推斷、語義理解、常識判斷等自然語言理解維度，是人機智能交互過程中的核心環(huán)節(jié)，在具體的業(yè)務場景中都有很重要的應用價值。追一科技此次參賽模型的相關NLP技術已經被成熟運用于到自主研發(fā)的全套AI數字員工產品線上，廣泛服務于銀行、保險、泛互聯網、地產、政企等多個行業(yè)的標桿客戶。例如，在追一科技的智能在線機器人Bot中就融入了多輪問答技術、語義檢索、機器閱讀理解技術等NLP技術，能準確識別用戶意圖，滿足用戶需求。
口說無憑，接下來就結合SuperGLUE中的任務與Bot的具體案例，一探虛實。
單/多輪問答 技術 是指機器人和用戶之間一問一答，實現多輪對話的過程。例如下面這個智能在線機器人Bot服務餐飲行業(yè)的場景：
智能在線機器人Bot不僅可以從對話中準確識別出地點，人數等信息，還能進一步追問用戶未給出的“用餐時間”的信息，滿足客戶的需求。而傳統(tǒng)的客服機器人并不會對未給出的潛在信息做出反應。
機器 閱讀理解技術 在于機器人去“用力”理解文檔中內容的意思，從而根據用戶需求輸出相應的結果。例如在金融保險領域會涉及到大量保險業(yè)務文檔的修訂、新增等情況。在面對客戶時，即使是富有經驗的客戶經理，往往也很難迅速結合所有新增的文檔內容進行有效回答。這時，定制了閱讀理解技術的智能在線機器人Bot就又可以發(fā)揮作用了——可以實時幫助業(yè)務人員，針對相關問題從新文檔中提取出答案，解決問題，降低出錯的概率。
自然語言推斷任務 中“文本蘊含”是常出現的形式，在實際用語中非常的普遍，參考下面這個銀行領域的例子：
因為白金信用卡屬于信用卡，因此“我的白金信用卡需要掛失”蘊含在“我的信用卡需要掛失”中，因此，智能在線機器人Bot 在回答用戶時只需準確指引用戶如何掛失信用卡即可。
指代消解 在人的交流過程中非常常見，在表達中適當地使用指代會讓表達更加簡練卻不影響本意的闡述。如下面這個出行領域的例子：
智能在線機器人Bot理解了客戶問句里的“上次”其實指代的是“上次中途取消訂單”，所以立馬給出了正確回復。
然而，最難為機器人的是常識推斷 ，對語言的理解離不開對常識的掌握。舉這么一個例子：
機器人需要具備“影子是由太陽升起照射留下的”這樣的常識性推斷，才能正確的選擇答案。對于人來說，這些常識很簡單，但是對于機器來說，大量的這種常識知識都潛藏在我們意識的深處，AI系統(tǒng)的研究者幾乎不可能把所有這樣的常識都總結出來，并灌入到系統(tǒng)中，所以機器人在該數據集的表現往往不盡如人意。
落地到現實場景中，比如我們可以對智能在線機器人Bot說“我銀行卡弄丟了”，Bot就會詢問你是否需要掛失。因為它具備了“弄丟銀行卡需要掛失”這樣的業(yè)務常識。
可以看到，真實的交互場景中模型需要對語言的不同維度都具有理解能力才能完全正常流暢的對話。而上述的幾個例子中的問題形式都很好地包含在了SuperGLUE的不同數據集中，因此，此次追一科技在SuperGLUE測評指標上獲得的成績，不僅是對其RoBERTa-mtl-adv模型在理解自然語言技術上的一個肯定，還驗證了“技術驅動應用，應用導向技術”策略的可行性，更加堅定了追一科技繼續(xù)深耕技術，持續(xù)用AI賦能百業(yè)的信念。
申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！
