123,123,123

今年2月，一位普通股民在雪球論壇看到一張AI問答截圖：“某公司已投資AI巨頭DeepSeek，股價即將暴漲！”

對于在股市中摸爬滾打、渴望抓住每一個投資機會的股民來說，這無疑是一條極具誘惑的消息。他堅信截圖中的內(nèi)容，并且興奮地跟風(fēng)買入，結(jié)果次日發(fā)現(xiàn)該公司辟謠，股價反而下跌，自己遭受沉重一擊。

這樣的事情并非個例，從“某公司投資DeepSeek”到“涼山山體滑坡”，AI生成的虛假信息正以病毒式速度擴散，這背后存在一條由黑灰產(chǎn)操控的“AI謠言流水線”。

在股市里，有一種造謠者被稱為“黑嘴”。他們發(fā)布虛假信息，引誘投資者上鉤，通過養(yǎng)粉薦股后的反向操作收割機構(gòu)或個人。

現(xiàn)在不少領(lǐng)域的“黑嘴”，就將DeepSeek、豆包等AI工具當(dāng)做“白手套”。他們利用AI技術(shù)的短板，制造謠言并將其包裝成“權(quán)威答案”，再通過算法反哺形成閉環(huán)，最終收割流量與利益。

第一批用DeepSeek掘金的人，已經(jīng)在這上面栽了跟頭。

AI淪為造謠者的“嘴替”

很多虛假信息的背后，是造謠者在有組織、有計劃地進(jìn)行AI造謠。

此前在DeepSeek、豆包、文心一言、Kimi等AI工具的問答中，慈星股份、華勝天成、并行科技、誠邁科技等多家公司都被描述為“DeepSeek的投資者”，但事實上這些公司都沒有參與投資。

為什么會出現(xiàn)與事實背離的情況？這跟數(shù)據(jù)投喂有直接關(guān)系。

隱藏在網(wǎng)絡(luò)背后的造謠者，會利用AI批量生產(chǎn)謠言，比如“慈星股份投資了DeepSeek”等等，堪稱流水線上的“謊言印刷機”。而且造謠者的“效率”非常高，有人一天就能制造幾千篇虛假文章，甚至還出現(xiàn)了一天生成19萬篇虛假文章的造假軟件。

然后，造謠者會操控成百上千個水軍賬號，在多個線上平臺高頻傳播這些造謠信息。他們的最終目的，是讓AI援引大量的虛假信息，充當(dāng)自己的嘴替。

所以，很多人就會看到AI工具援引虛假信源，給出了錯誤答案。本來有些人對謠言是將信將疑，但看到AI給出的答案后堅信不疑，此時就落入了造謠者制造的圈套，從而栽了跟頭。有人就因為看到AI回答中有“某某投資品有潛力”等信息，誤以為發(fā)現(xiàn)了財富密碼，結(jié)果被割了韭菜。

最可怕的是，造謠者還會將AI給出的回答，再以截圖形式繼續(xù)傳播擴散，以誘導(dǎo)欺騙更多人。所以這些AI謠言并非單次傳播，而是“謠言—AI回答—更多謠言”的循環(huán)。這種自我強化的閉環(huán)，讓謠言像癌細(xì)胞般無限增殖。

據(jù)南都大數(shù)據(jù)研究院不完全統(tǒng)計，2024年搜索熱度較高的50個國內(nèi)AI風(fēng)險相關(guān)輿情案例中，超1/5與AI造謠有關(guān)，68%的網(wǎng)民曾因AI生成的“專家解讀”“權(quán)威數(shù)據(jù)”而誤信謠言。

一名受訪者苦笑：“以前不信小道消息，現(xiàn)在連AI都撒謊，我們還能信誰？”

AI謠言帶來的破壞力是巨大的，且不限于資本市場。

前不久，“廣州法院對某汽車品牌L3級自動駕駛追尾事故作出首例判決”的謠言全網(wǎng)傳播，就對該品牌的聲譽和銷售造成打擊，損害企業(yè)利益。

在發(fā)生公共安全事故時，有人故意制造AI謠言擾亂視聽。這不僅會干擾救援節(jié)奏，還容易引發(fā)民眾恐慌。當(dāng)造謠者通過收割流量，社會付出的代價其實是信任的崩塌與秩序的混亂。

AI謠言帶來的危害還是全球性的，世界經(jīng)濟論壇發(fā)布的《2025年全球風(fēng)險報告》顯示，“錯誤和虛假信息”是2025年全球面臨的五大風(fēng)險之一，AI的濫用是這種風(fēng)險的重要推手。

那么，AI究竟是如何淪為造謠者的“嘴替”呢？

AI如何淪為造謠者的“嘴替”？

雖然AI現(xiàn)在火的發(fā)紫，更新?lián)Q代也非?？?，但是仍然存在不少短板。

其中，較為突出的問題就是語料污染與AI幻覺。

AI大模型的訓(xùn)練依賴海量數(shù)據(jù)，但數(shù)據(jù)的真實性卻無人擔(dān)保。中國信通院曾做過實驗，當(dāng)在特定論壇連續(xù)發(fā)布百余條虛假信息后，主流AI大模型對對標(biāo)問題的回答置信度，就會從百分之十幾快速飆升。

前不久，紐約大學(xué)的研究團隊發(fā)表了一項研究，揭示了大語言模型（LLM）在數(shù)據(jù)訓(xùn)練中的脆弱性。他們發(fā)現(xiàn)，即使是極少量的虛假信息，只需占訓(xùn)練數(shù)據(jù)的0.001%，就能導(dǎo)致整個模型出現(xiàn)重大錯誤，而這個過程的成本極其低廉，僅花費了5美元。

這就像在水庫中注入幾滴毒藥，就能讓水庫里的每一滴水都帶著謊言的味道，信息體系都會被破壞，堪稱污染AI的“精神投毒”。

這其實暴露了AI的致命缺陷：它很難區(qū)分“熱門帖子”和“真實信息”，只認(rèn)數(shù)據(jù)權(quán)重。它像一面誠實的鏡子，但映射的可能是被篡改的世界。

有的AI為了完成邏輯自洽，甚至還會胡編亂造。

某AI工具就根據(jù)“80后死亡率5.2%”的虛假語料，輸出“每20個80后就有1人死亡”的結(jié)論。這種“一本正經(jīng)地胡說八道”，源于AI大語言模型在編造它認(rèn)為真實存在甚至看起來合理的信息。它追求的是邏輯自洽，而非事實正確，這也被稱為“AI幻覺”。

看來在“開局一張圖，剩下全靠編”這件事上，AI比人類還擅長。

技術(shù)是否有罪本身是個有爭議的話題，但人性的貪婪一定是AI謠言的罪魁禍?zhǔn)住?/p>

傳統(tǒng)造謠需要雇傭?qū)懯?，而AI將成本壓縮至近乎為零且效率極高，利益極為豐厚。2024年南昌警方查處某MCN機構(gòu)，其負(fù)責(zé)人王某某通過AI工具每日生成虛假文章4000-7000篇，內(nèi)容涵蓋“某公司暴雷”“某地災(zāi)情”等，最高峰的時候每天能生成4000-7000篇，每天收入超1萬元。

某黑產(chǎn)從業(yè)者聲稱：“用AI造謠就像開印鈔機，團隊3個人一個月能賺50萬。”更諷刺的是，他們甚至開發(fā)了“謠言KPI系統(tǒng)”：每篇假新聞根據(jù)傳播量獎勵造謠者，形成“多勞多得”的激勵機制。

在利益的趨勢和AI的加持下，造謠似乎從“作坊式的小打小鬧”進(jìn)化成“工業(yè)化生產(chǎn)”。

盡管《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》要求標(biāo)注AI內(nèi)容，但一些AI工具和平臺在這方面仍有所欠缺。有些造謠團伙發(fā)布AI生成的虛假信息時，某平臺僅彈出“請遵守法律法規(guī)”的提示，點擊“確認(rèn)”后仍可正常發(fā)布。

當(dāng)越來越多的人，被卷入這場AI造謠形成的虛假信息漩渦，單純譴責(zé)技術(shù)已無濟于事。唯有技術(shù)防御、平臺責(zé)任與法律制裁三管齊下，才能斬斷這條“謊言流水線”。

真相與謠言，如何對決？

首先，數(shù)據(jù)源引用和AI檢測是必須要重視的。

要減小謠言發(fā)生的概率，AI工具就要嚴(yán)格檢測數(shù)據(jù)的來源和真實性。據(jù)悉，豆包的數(shù)據(jù)源主要依賴自有業(yè)務(wù)數(shù)據(jù)，占比50%-60%；外采數(shù)據(jù)占比為15%-20%。由于質(zhì)量不確定性，豆包在投喂合成數(shù)據(jù)時較為審慎。

另外，豆包也公開強調(diào)“不使用任何其他模型數(shù)據(jù)”，這也是確保數(shù)據(jù)來源的獨立性、可靠性、可控性。

用“魔法打敗魔法”，即用AI檢測AI生成的內(nèi)容，也不失為一種有效的控制謠言的辦法。

國內(nèi)外已有多個團隊，正在投入開發(fā)AI生成內(nèi)容檢測技術(shù)。比如，騰訊混元安全團隊朱雀實驗室研發(fā)了一款A(yù)I生成圖片檢測系統(tǒng)，通過AI模型來捕捉真實圖片與AI生圖之間的各類差異，最終測試檢出率達(dá)95%以上。

國外的Meta創(chuàng)建了一個系統(tǒng)，可以在AI生成的音頻片段中嵌入名為“水印”的隱藏信號，有助于在網(wǎng)絡(luò)上檢測AI生成的內(nèi)容。

未來，DeepSeek、豆包、文心一言、Kimi等AI工具，還是要通過AI技術(shù)比如自然語言處理（NLP）技術(shù)，分析數(shù)據(jù)的語義、邏輯結(jié)構(gòu)，識別文本中的矛盾、不合理表述，盡量避免數(shù)據(jù)投喂中涌入虛假信息。

其次，內(nèi)容平臺作為信息傳播的重要渠道，要擔(dān)負(fù)起“信息守門人”的責(zé)任。

抖音、微博、快手、小紅書等平臺，已經(jīng)開始強制添加“本內(nèi)容由AI生成”的水印，轉(zhuǎn)發(fā)時保留標(biāo)識。今日頭條在謠言治理上，著重建設(shè)了三個方面的能力，包括謠言庫、權(quán)威信源庫以及專業(yè)審核團隊。

另外，咱們用戶自己也要學(xué)會辨別虛假信息，加強防范意識。

對于AI給出的回答，我們不要全盤接收，而是要追問具體細(xì)節(jié)，讓AI的回答更具可信度，從而判斷回答是否存在幻覺‌，比如當(dāng)AI聲稱“某股票將暴漲”時，要進(jìn)一步追問“數(shù)據(jù)來源有哪些”。

另外，交叉驗證信息也是一個有效的方法，也就是要通過多種渠道驗證答案的準(zhǔn)確性。此前有“某地地震預(yù)警”的AI謠言引發(fā)恐慌，但有網(wǎng)民通過對比氣象局、地震臺官網(wǎng)數(shù)據(jù)，迅速識破虛假信息。‌

最后，相關(guān)法律也要跟上。

《生成式人工智能服務(wù)管理暫行辦法》已經(jīng)要求數(shù)據(jù)來源合法化，并且明確了“不得生成虛假有害信息”的紅線，但是當(dāng)前法律法規(guī)對“AI投喂”的問題仍然存在空白，需要進(jìn)一步優(yōu)化。具體而言，法律需要在“投喂者如何打造語料”“語料的真實性”“投喂的目的”等環(huán)節(jié)上，進(jìn)行相關(guān)管制。