文科生都能看得懂的基本算法推薦原理
本文概要：
一、背景
二、算法推薦系統(tǒng)的兩個核心
1.內(nèi)容標(biāo)簽2.用戶標(biāo)簽三、如何衡量推薦系統(tǒng)的好壞四、總結(jié)
一、背景
在紙媒時代，消費者對于信息和內(nèi)容的獲取，處于十分被動且匱乏 的狀態(tài)。
一張報紙、一份雜志，雖然“千人一面”，但許多人仍然愛不釋手，翻來覆去。
隨著互聯(lián)網(wǎng)時代（特別是移動互聯(lián)網(wǎng)）的到來，信息如同《三體》里“技術(shù)爆炸”一般，呈現(xiàn)出“信息爆炸”的狀態(tài)。
每天以EB為單位的信息量誕生在互聯(lián)網(wǎng)的每個角落。預(yù)計到2025年，全球每天產(chǎn)生的數(shù)據(jù)量將達到491EB（1 EB=1024 PB=1048576 TB）。
在這種情況下，消費者對于信息的獲取無疑變得更加的主動且豐富。 但豐富，并不意味著有效。
紙媒時代尚且有專業(yè)的編輯對內(nèi)容進行篩選、排版后“分發(fā)”給消費者。
但對于互聯(lián)網(wǎng)產(chǎn)品來說，即使內(nèi)容再豐富，用戶如果不感興趣也是無效內(nèi)容。
“效率”始終是商業(yè)社會的本質(zhì)之一。 低效意味著隨時有可能落后或被淘汰。
為了解決這一問題， 淘寶最早再在2013年提出“千人千面”的概念。
依托淘寶網(wǎng)十年發(fā)展積累下來的龐大數(shù)據(jù)庫，從細(xì)分類目中抓取那些與買家興趣相匹配的商品，進行優(yōu)先展現(xiàn)。
而每個在淘寶網(wǎng)上購買或是瀏覽過商品的消費者，都會被平臺打上標(biāo)簽，比如年齡、地域、客單價、收藏偏好等。
標(biāo)簽的不同，在千人千面模式下，用戶所看到的產(chǎn)品自然就會有所差異。
更有效率的內(nèi)容分發(fā)方式，由此從野蠻生長進入到精細(xì)化運營的時代。
到了以“算法驅(qū)動”為核心理念的張一鳴手里，今日頭條、抖音等產(chǎn)品更是在這種理念下飼養(yǎng)出來的洪水猛獸。
因此作為一名互聯(lián)網(wǎng)人，即使不用動手去寫編程算法，但了解相關(guān)算法知識、懂得相關(guān)內(nèi)容分發(fā)與推薦機制背后的基本原理，也有利于更上一個認(rèn)知的新臺階。
二、算法推薦系統(tǒng)的兩個核心
（一）抖音為何讓人如此上癮？
許多人或許會有這樣的體驗：
在不同的場景下（在家、地鐵、公司）、不同的時間點（早上、中午、晚上），即使是同類型的電影，實際上所接收到的內(nèi)容也略有差別。
例如白天大多會收到比較幽默的內(nèi)容，而到了晚上則會收到略帶懸疑的影視剪輯片段等。
而無論是什么時候打開抖音，它都能讓用戶沉浸其中，似乎感覺不到時間的流逝，往往一下子能過去一兩個小時。
你會發(fā)現(xiàn)抖音似乎很懂你，因為給你推送的內(nèi)容全都是你喜歡看的。
拋開抖音的產(chǎn)品設(shè)計、沉浸式消費體驗、短平快的內(nèi)容節(jié)奏等，這其中還涉及到算法推薦機制和運營策略等因素。
而內(nèi)容的個性化分發(fā)，本質(zhì)上用一句大白話就可以解釋：
讓喜歡看妹子的用戶，看到含有妹子的內(nèi)容。
但在現(xiàn)實環(huán)境中，放眼互聯(lián)網(wǎng)，能把這句話做好的公司其實沒幾個。
那么問題到底難在哪里呢？
（二） 給內(nèi)容打標(biāo)，沒有想的那么簡單
給標(biāo)簽定義難，給內(nèi)容打標(biāo)也難。
在給一篇內(nèi)容打上標(biāo)簽之前，首先需要做的是給標(biāo)簽做定義。
即講清楚什么是蘋果，什么是梨，而不是把蘋果叫成梨。
一篇內(nèi)容通常包括一級分類、二級分類、三級分類、標(biāo)簽 等幾個層次。
如動漫>日漫>火影忍者>鳴人等。
對于這些具有普遍性認(rèn)知的分類跟標(biāo)簽來說，通常比較好下定義。
但是對于搞笑、美女這樣的標(biāo)簽，則因人而異。因為每個人的笑點不同、審美不同。
到底什么內(nèi)容才算好笑、多好看才算美女？
蘿卜青菜各有所愛，打標(biāo)還沒開始，就先卡在定義上面。
這里其實就涉及到兩個概念——實體標(biāo)簽跟語義標(biāo)簽：
1.實體標(biāo)簽
廣州就是廣州、上海就是上海；馬云就是馬云，淘寶就是淘寶。
他們都是確定的實體，通常在不同人那里不會產(chǎn)生太大的歧義。
2.語義標(biāo)簽
如沙雕、美女、奇葩等詞，并沒有確定的指定對象。
在不同人那里會有不同的認(rèn)知，因此打標(biāo)難點通常出現(xiàn)在語義標(biāo)簽的定義上面。
語義標(biāo)簽的推薦效果是檢驗一個公司NLP（自然語言處理）技術(shù)水平的試金石。
不同公司根據(jù)其業(yè)務(wù)能力或需求的不同，對標(biāo)簽顆粒度 的要求也不同。
比如有的公司拆分到火影忍者就不往下拆了，直接把這個詞當(dāng)作最小顆粒度的標(biāo)簽。
所有涉及到這部動漫的內(nèi)容都可以打上這個“火影忍者”標(biāo)簽，但是難免有種一刀切的感覺，對后續(xù)的運營工作也有影響。
比如有的用戶想看、或者想搜索“鳴人”，結(jié)果推送的、搜索出來的全都是“火影忍者”里面的其他人。
而有的公司則繼續(xù)往下拆：例如拆到火影忍者>鳴人、佐助、小櫻等實體標(biāo)簽。
因此可以看得出：標(biāo)簽顆粒度越細(xì)，推薦的內(nèi)容越精準(zhǔn)，同時所需要投入的資源則越多。
OK，即使把整個公司的打標(biāo)團隊拉到一個會議室里面，大家通過統(tǒng)一培訓(xùn)、講解，一個月后大家終于對什么才算是美女有了一個統(tǒng)一的認(rèn)知，審美逐漸相同。
那么打標(biāo)就可以順利開展了嗎？NO！
讓我們先喝口水緩一緩，然后再接著往下繼續(xù)聊。
（三）用戶標(biāo)簽：可能是最難搞的部分
1.用戶口味就像個難哄的女朋友
比內(nèi)容標(biāo)簽難度更大的便是用戶標(biāo)簽。
因為火影忍者就是火影忍者，一旦打上這個內(nèi)容標(biāo)簽，它就不會變成海賊王。
內(nèi)容標(biāo)簽尚且可以通過人工打標(biāo)+機器訓(xùn)練 的方式進行。
用戶不一樣，可能這個月他喜歡看火影忍者，算法推薦機制也給他匹配了相關(guān)的內(nèi)容。但是下個月他可能因為朋友或同事的推薦開始看海賊王了。
如果算法還沒反應(yīng)過來，繼續(xù)給他推送火影忍者的相關(guān)內(nèi)容，此時這些內(nèi)容對他來說便是無效內(nèi)容，從而影響了內(nèi)容的分發(fā)效率 。
好比胡蘿卜一直是胡蘿卜，但是用戶的口味卻一直在變化。
今天想喝湯，明天想吃肉。
這里其實涉及到“推薦窄化” 的問題，算法機制越差的產(chǎn)品，其推薦的內(nèi)容越容易出現(xiàn)窄化。
如不小心點擊了幾篇文章，算法便默認(rèn)你喜歡這一類內(nèi)容，此后便一直推送相關(guān)信息，無法做到根據(jù)用戶的需求變化進行靈活更迭。
盡管在這個時代，無論使用哪一款內(nèi)容產(chǎn)品，都不可避免的會出現(xiàn)“信息繭房” 的現(xiàn)象，但成熟的NLP技術(shù)與初級之間，實際的產(chǎn)品體驗效果仍是天差地別。
2. 掌握用戶的基本信息
在做用戶標(biāo)簽之前，需要先掌握跟用戶相關(guān)的信息，通常包括性別、年齡、地點、興趣偏好等。
1）性別 有助于分發(fā)性別屬性較明顯的內(nèi)容：如給男生推送體育、給女生推送美容護膚；
2）年齡 也同理：給年輕人推送動漫、游戲等內(nèi)容，給老年人推送養(yǎng)生、健康信息等；
3）地點 則用于推送與區(qū)域熱點相關(guān)的信息：如給上海用戶推送上海突發(fā)新聞，北京限行對于廣州用戶似乎沒有多大影響。
以上三者通?？梢酝ㄟ^用戶自動填寫、授權(quán)訪問位置信息的方式獲取，且不會有太大的變動。
3.掌握用戶興趣偏好 對于用戶興趣偏好，如上所說，則是做用戶標(biāo)簽的難點所在。
獲取用戶興趣偏好采用的方式，是根據(jù)用戶消費過的內(nèi)容匹配相應(yīng)的標(biāo)簽，通常采取以下幾種方式進行定位：
1）過濾噪聲： 如用戶被標(biāo)題黨內(nèi)容吸引進去，但是停留時間過段，則說明用戶對該內(nèi)容所綁定的標(biāo)簽不感興趣，以此來過濾標(biāo)題黨；
2）熱點降權(quán)： 對一些社會熱點、突發(fā)新聞（如某明星出軌），雖然短時間內(nèi)用戶瀏覽了相關(guān)信息，但并不能說明該用戶一定對“娛樂”內(nèi)容特別感興趣，需要對該用戶的“娛樂”興趣偏好進行降權(quán)處理；
3）時間衰減： 如上所說，用戶的興趣會發(fā)生偏移，因此推送策略需要更偏向于新的用戶行為；
4）懲罰展現(xiàn)： 如果一篇推薦給用戶的文章沒有被點擊，則該內(nèi)容的相關(guān)特征（如內(nèi)容分類、標(biāo)簽）權(quán)重會被降低。
舉一個十分簡單的例子：
如某新注冊用戶（女，25歲，上海）在刷抖音時，算法采用A-A、A-B的方式進行測試。
首先連續(xù)推送兩條影視剪輯內(nèi)容（A-A），用戶都完整觀看并有點贊、評論等操作；
其次推送影視剪輯后推送母嬰內(nèi)容（A-B），用戶只觀看了影視剪輯內(nèi)容，卻劃走了母嬰內(nèi)容。
那么則說明用戶對“影視剪輯”這一內(nèi)容的興趣偏好度較高，對“母嬰”標(biāo)簽內(nèi)容興趣偏好較低。
4. 不同內(nèi)容類型的推薦權(quán)重
我們都知道對于綜合型平臺而言，內(nèi)容通常不止一種類型，如今日頭條便包含了長圖文、小視頻、短視頻、問答、微頭條等幾種不同形態(tài)的內(nèi)容。
即使是同一個標(biāo)簽，如“美女”，不同內(nèi)容類型的推薦權(quán)重是否一樣？這也是算法推薦機制需要考慮的問題。
三、如何衡量推薦系統(tǒng)的好壞
內(nèi)容推薦的準(zhǔn)不準(zhǔn)，通常可以直接從數(shù)據(jù)上去分析。
CTR（點擊率）、消費時長、點贊、評論、轉(zhuǎn)發(fā)數(shù)等“可量化指標(biāo)”。
如Y=F（X1,X2,X3），Y代表內(nèi)容可被加大曝光的權(quán)重，X代表點贊、評論等實際參數(shù)。
評論數(shù)的影響權(quán)重通常大于點贊權(quán)重，不同平臺由于產(chǎn)品差異對于參數(shù)的權(quán)重設(shè)置也有所不同。
而不同的用戶因其賬號“置信度” 的差異，即使點贊了同一條內(nèi)容，對該內(nèi)容的影響權(quán)重也有差異，如某知乎大V點贊跟普通賬號點贊的權(quán)重顯然是不一樣的。
但有時數(shù)據(jù)也有缺陷。 如對于低俗、標(biāo)題黨、涉黃內(nèi)容，如果短時間內(nèi)吸引了大量用戶點擊瀏覽，那么算法能判定其為好內(nèi)容，并加大推送量嗎？
答案顯然是否定的。
因此通常需要打壓降權(quán)的內(nèi)容主要有以下幾種：1）廣告、低質(zhì)搬運內(nèi)容打壓；2）涉黃、低俗惡心內(nèi)容打壓；3）標(biāo)題黨、低質(zhì)賬號內(nèi)容降權(quán)等。
基于社會責(zé)任感和政策法規(guī)等因素，平臺需要對該部分內(nèi)容進行打壓、降權(quán)，而對重點時事新聞進行置頂強插，如打開新聞APP都會看到置頂了*的相關(guān)文章。
這些都是算法無法獨立完成的，需要運營配合進行。許多資訊平臺都會有專門的首頁運營小組對內(nèi)容進行人工干預(yù)。
大多數(shù)APP日常通知欄PUSH的內(nèi)容也是采取算法+人工的方式進行推送的。
四、總結(jié)
回到開頭所說：要讓喜歡看妹子的用戶看到含有妹子的內(nèi)容。
這句如此簡單的話想要實現(xiàn)它，需要做到：
1. 內(nèi)容標(biāo)簽的準(zhǔn)確定義、準(zhǔn)確打標(biāo)
因為不同的人對于同一個語義標(biāo)簽會有不相同的認(rèn)知。
2. 用戶標(biāo)簽的準(zhǔn)確匹配
清楚用戶對于哪種“妹子”興趣偏好度更高：是長發(fā)妹子？還是短發(fā)妹子？是南方人還是北方人等等顆粒度更細(xì)的拆分。
用戶標(biāo)簽是建立在內(nèi)容標(biāo)簽打的足夠準(zhǔn)確的前提條件之上的，一步錯則步步錯。
如果內(nèi)容標(biāo)簽無法準(zhǔn)確判斷，那么基于內(nèi)容標(biāo)簽建立起來的用戶標(biāo)簽也是不可信的。
3. 算法訓(xùn)練
要想訓(xùn)練機器能夠自動打標(biāo)，往往一個“標(biāo)簽”就需要訓(xùn)練幾個星期的時間。
通常采用抓取標(biāo)題關(guān)鍵詞的方式打上內(nèi)容標(biāo)簽，但有時標(biāo)題與文章或視頻里面所有表達的內(nèi)容其實有很大出入，因此打上的標(biāo)簽很有可能是不準(zhǔn)確的，需要人工進行復(fù)核，判斷其準(zhǔn)確率。
綜上所述，如今算法分發(fā)幾乎已經(jīng)是所有搜索引擎、資訊軟件、內(nèi)容社區(qū)、社交軟件等產(chǎn)品的標(biāo)配。
算法代表著用系統(tǒng)的方法去描述、解決問題的策略機制。
因此無論你是一只產(chǎn)品汪、還是一只運營喵，了解了內(nèi)容平臺的基本算法原理，無論是對于產(chǎn)品推薦機制的設(shè)計，還是對平臺運營策略的構(gòu)建，都能有所幫助。
本文來自于微信公眾號深刻運營（ID：WhiteDeerPark），作者：Thinker
申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！
