每經(jīng)記者｜可楊    每經(jīng)編輯｜董興生    

今年央視“3·15”晚會，將一個此前只在AI行業(yè)內(nèi)部流傳的概念——GEO（生成式引擎優(yōu)化）——推入公眾視野。

調(diào)查顯示，一些GEO服務(wù)商聲稱，只要持續(xù)發(fā)布推廣軟文并向AI模型“投喂”相關(guān)內(nèi)容，就可以讓客戶產(chǎn)品出現(xiàn)在大模型推薦答案中，甚至成為AI給出的“標準答案”。

隨著生成式AI逐漸取代傳統(tǒng)搜索成為新的信息入口，圍繞“操控AI答案”的產(chǎn)業(yè)開始迅速生長。GEO究竟是搜索優(yōu)化的延伸，還是一種新的信息干預機制？當AI成為新的流量入口，互聯(lián)網(wǎng)的信息規(guī)則是否正在被重新書寫？

近日，中國信通院人工智能研究所安全治理部副主任呼娜英在接受《每日經(jīng)濟新聞》記者（以下簡稱NBD）采訪時表示，GEO的出現(xiàn)幾乎是技術(shù)發(fā)展的必然結(jié)果，但當優(yōu)化行為突破合理邊界，通過堆量、投喂甚至誤導模型來影響輸出時，它就可能演變?yōu)橐环N新的信息干預機制。如果缺乏治理框架，甚至可能對生成式AI的知識體系造成長期污染。

中國信通院人工智能研究所安全治理部副主任呼娜英 圖片來源：受訪者供圖

談亂象：當GEO行為突破合理邊界，輸出內(nèi)容就會被操縱

NBD：最近GEO受到高度關(guān)注，但市場行為非常混亂。從產(chǎn)業(yè)治理角度，怎么理解GEO的出現(xiàn)？

呼娜英：在生成式AI服務(wù)作為搜索入口的新時代，GEO的產(chǎn)生自然而然，是技術(shù)發(fā)展的產(chǎn)物。和所有新興技術(shù)一樣，GEO技術(shù)是一把雙刃劍。GEO兼具搜索優(yōu)化延伸與信息干預雙重屬性，當GEO行為突破合理的內(nèi)容優(yōu)化邊界，通過堆量、投喂甚至誤導模型的方式干預生成式AI的內(nèi)容輸出結(jié)果時，就演變成了主動的信息干預機制。

NBD：為什么GEO這種非核心技術(shù)的服務(wù)，反而成為治理風險的高發(fā)區(qū)？

呼娜英：三個原因。

一是流量入口轉(zhuǎn)移。人們使用AI搜索的流量不斷提升，導致AI成為新的流量入口，也就成為新的利益敞口。GEO能讓產(chǎn)品內(nèi)容出現(xiàn)在AI反饋中，是其受到廣泛關(guān)注的核心原因。

二是缺乏規(guī)范引導。GEO作為新興市場行為，尚未形成統(tǒng)一的行業(yè)標準和行為邊界，市場主體為追求短期利益極易突破合規(guī)底線。

三是技術(shù)門檻低。GEO無需像傳統(tǒng)技術(shù)領(lǐng)域那樣突破核心技術(shù)壁壘，低門檻的操作方式使其快速普及，而通過污染語料、數(shù)據(jù)投喂等方式干預模型輸出的行為具有較強隱蔽性，難以被及時識別。

談風險：語料污染破壞性不可逆，惡意GEO將“驅(qū)逐良幣”

NBD：如果說傳統(tǒng)SEO（搜索引擎優(yōu)化）影響的是點不點擊，那么GEO影響的就是看到什么答案。這種變化是否意味著風險級別發(fā)生了變化？

呼娜英：在生成式AI剛風靡時，就有調(diào)查顯示AI寫的內(nèi)容比真人的更讓人信服。生成式AI以“智能回答”形式輸出內(nèi)容，相較于傳統(tǒng)搜索的結(jié)果列表，一方面，呈現(xiàn)形式更具專業(yè)性和權(quán)威性，用戶容易形成生成結(jié)果是事實的認知；另一方面，生成式AI會對信息進行整合加工，將信息包裝成邏輯連貫的內(nèi)容，降低了用戶的辨別難度，進而提升了用戶對錯誤信息的信任度。

NBD：這種風險的緊迫性有多高？如果不治理會發(fā)生什么？

呼娜英：從風險緊迫性看，非常高。當前生成式AI已快速滲透到金融、醫(yī)療、教育、政務(wù)等民生和關(guān)鍵領(lǐng)域，這些領(lǐng)域?qū)π畔⒄鎸嵭缘囊髽O高。

當前GEO主要用于商品廣告，但GEO引發(fā)的錯誤信息輸出可能直接導致用戶財產(chǎn)損失、人身安全受威脅，甚至引發(fā)市場波動、社會認知偏差等公共問題。同時，語料污染具有“記憶殘留”和“遞歸污染”的特性，虛假信息一旦進入模型語料庫，即便原始信源被刪除，仍會持續(xù)污染后續(xù)的模型輸出，且錯誤信息會逐代累積，若不及時治理，將對生成式AI的知識體系造成不可逆的破壞。

NBD：目前GEO市場中存在大量堆量、投喂甚至誤導模型的操作，這種行為是否會出現(xiàn)“劣幣驅(qū)逐良幣”？

呼娜英：這類行為極易引發(fā)劣幣驅(qū)逐良幣的行業(yè)困境。

一方面，合規(guī)經(jīng)營的GEO服務(wù)者，其合理的優(yōu)化行為成本高于惡意操縱者，在短期市場競爭中易處于劣勢；另一方面，優(yōu)質(zhì)的原創(chuàng)內(nèi)容和真實信息會被惡意GEO提供者制造的“數(shù)據(jù)垃圾”湮沒，導致優(yōu)質(zhì)內(nèi)容生產(chǎn)者的積極性受挫，最終形成“劣幣驅(qū)逐良幣”的惡性循環(huán)，破壞整個數(shù)字內(nèi)容生態(tài)和生成式AI產(chǎn)業(yè)的健康發(fā)展。

為倡導GEO服務(wù)企業(yè)主動踐行承諾，強化數(shù)據(jù)全流程治理，推動生成式人工智能服務(wù)安全、可信、健康發(fā)展，人工智能產(chǎn)業(yè)聯(lián)盟（AIIA）發(fā)起了《人工智能安全承諾：生成式引擎優(yōu)化（GEO）專項》?；诖?，依托AIIA安全治理委員會，由中國信息通信研究院牽頭，聯(lián)合GEO相關(guān)企業(yè)，編制了《生成式引擎優(yōu)化（GEO）服務(wù)可信基本要求》技術(shù)規(guī)范，并已啟動了首輪測評工作。

談責任邊界：誰該為“有毒”的語料負責？

NBD：GEO帶來的問題是更接近廣告合規(guī)，還是生成式AI安全？

呼娜英：GEO帶來的問題是跨領(lǐng)域的復合型風險。目前，很多GEO應用在廣告營銷方面，部分GEO行為本質(zhì)上是一種良性的、新型的商業(yè)推廣行為，但通過虛假信息進行商業(yè)宣傳，涉及廣告法等相關(guān)合規(guī)問題。

從GEO技術(shù)的長遠應用來看，GEO的不當操作直接指向生成式AI的數(shù)據(jù)安全、模型安全和內(nèi)容安全。其通過語料污染、數(shù)據(jù)投毒等方式破壞模型的知識體系，引發(fā)模型輸出偏差，屬于生成式AI安全治理的核心范疇。且其帶來的風險遠超傳統(tǒng)廣告合規(guī)問題，能夠影響到整個互聯(lián)網(wǎng)的信息內(nèi)容安全，也會對生成式AI產(chǎn)業(yè)的底層生態(tài)造成破壞。

NBD：很多GEO服務(wù)商宣稱自己只是內(nèi)容優(yōu)化，不涉及模型。這種說法在治理視角下成立嗎？

呼娜英：不成立。即便GEO服務(wù)商未直接接觸模型底層算法，但其通過內(nèi)容投喂、語料污染等方式間接干預模型的輸出結(jié)果，與模型輸出存在直接的因果關(guān)系，屬于對模型使用環(huán)節(jié)的干預，不能以“不涉及模型”為由規(guī)避責任。

這類中介角色目前存在一定的監(jiān)管盲區(qū)，其行為跨內(nèi)容制作、數(shù)據(jù)傳播、模型應用多個環(huán)節(jié)，現(xiàn)有監(jiān)管規(guī)則對這類間接干預模型的行為覆蓋不足，且其操作的隱蔽性進一步加大了監(jiān)管難度，也是當前GEO治理的重點和難點。

NBD：在責任劃分上，如果模型被投喂錯誤信息，模型方是否需要承擔結(jié)果責任？

呼娜英：模型方并非無條件承擔結(jié)果責任，需根據(jù)其是否履行技術(shù)防控和數(shù)據(jù)審核的相關(guān)義務(wù)進行判定。模型方需要按照法律法規(guī)和行業(yè)標準，建立完善的語料審核、數(shù)據(jù)清洗、異常檢測機制，采取必要的技術(shù)手段防范語料污染和惡意投喂，且在發(fā)現(xiàn)模型被污染后及時采取整改措施。同時，模型方需持續(xù)提升“毒數(shù)據(jù)”識別、過濾和溯源能力，筑牢技術(shù)防線。

NBD：平臺方是否有義務(wù)對有明顯操縱性的GEO行為進行治理？

呼娜英：平臺方有明確的責任和義務(wù)對有明顯操縱性的GEO行為進行治理。作為生成式AI服務(wù)的運營載體，平臺方是連接模型方、GEO服務(wù)商、用戶的關(guān)鍵節(jié)點，需承擔內(nèi)容管理和風險防控的主體責任。具體而言，一是建立健全GEO行為的監(jiān)測和識別機制，及時發(fā)現(xiàn)堆量投喂、數(shù)據(jù)投毒等明顯的操縱性GEO行為；二是對發(fā)現(xiàn)的不當GEO行為采取限流、下架、屏蔽等處置措施，阻斷其對模型的污染路徑；三是建立GEO服務(wù)商的準入和管理機制，對違規(guī)服務(wù)商進行懲戒；四是配合監(jiān)管部門開展溯源和調(diào)查工作，落實信息披露和用戶提示義務(wù)。

談可信AI：安全是一場動態(tài)博弈

NBD：這兩年可信AI幾乎成為行業(yè)共識，但真正落地到評估測試層面，難度似乎遠超預期。目前難點主要在哪里？

呼娜英：核心難點來自三個維度。

技術(shù)發(fā)展快，評估評測指標需要動態(tài)發(fā)展。AI技術(shù)，特別是大模型，迭代速度非?？?。今天有效的安全護欄，明天可能就被新攻擊方式繞過或突破。

另一個是基準測試分散，體系化共建有待加強。多元主體在探索基準測試，但如何將這些碎片化的單點評測整合成一個體系化的可信AI評估體系，讓產(chǎn)業(yè)界能在同一個坐標系里對話，是產(chǎn)業(yè)成熟度提升的關(guān)鍵。

更深層的是垂類場景評測不足，專業(yè)數(shù)據(jù)集和指標構(gòu)建難度大。通用模型評測相對成熟，但落到金融、醫(yī)療等垂直領(lǐng)域，構(gòu)建專業(yè)測試數(shù)據(jù)集不僅成本高，更需要行業(yè)知識沉淀。

還有一個底層難題是指標量化難。有些風險是定性的，比如“公平性”，很難用一個簡單的公式或數(shù)據(jù)來衡量。再比如模型幻覺，不僅要測幻覺發(fā)生概率，也要測幻覺的危害程度，這種危害性的量化分級，目前仍是很大的挑戰(zhàn)。

NBD：很多企業(yè)傾向于做合規(guī)聲明，只要聲明了“安全、合規(guī)”，是否就能規(guī)避系統(tǒng)性風險？

呼娜英：企業(yè)主動進行自我聲明，是落實主體責任、主動合規(guī)的表現(xiàn)，這是值得鼓勵的。但僅靠自我聲明，缺乏獨立驗證，存在不可忽視的風險。

第一，它容易產(chǎn)生“劣幣驅(qū)逐良幣”，嚴謹做測試的企業(yè)成本高，而只做宣傳的企業(yè)可能更占優(yōu)勢。第二，容易造成“道德洗白”，比如聲明合規(guī)的企業(yè)將存在問題的系統(tǒng)包裝成安全可靠的假象。一旦出現(xiàn)安全事故，僅依賴單純的聲明無法提供有效證明。

NBD：哪些風險是事前很難被企業(yè)自行發(fā)現(xiàn)的？

呼娜英：模型方面，除了對抗攻擊，還需要關(guān)注欺騙性對齊等新型風險。模型可能在訓練中學會了“諂媚”，對評估者遵從但并非真正遵循指令。只有通過持續(xù)的紅隊測試和對抗性交互，才能發(fā)現(xiàn)它在壓力環(huán)境下是否會出現(xiàn)策略性作弊或欺騙行為。

數(shù)據(jù)方面，靜態(tài)評估很難發(fā)現(xiàn)隨用戶交互產(chǎn)生的數(shù)據(jù)投毒或提示詞注入攻擊。更重要的是，持續(xù)監(jiān)測能及時發(fā)現(xiàn)模型是否在對話中無意泄露了訓練數(shù)據(jù)，或者在微調(diào)過程中，新引入的數(shù)據(jù)是否導致了模型行為的意外偏移。

應用層面，隨著智能體的興起，評估需要從模型本身擴展到“模型、工具、環(huán)境”的整個系統(tǒng)。比如OpenClaw中，一個看似無害的指令，可能導致智能體調(diào)用不該調(diào)用的API（應用程序編程接口），引發(fā)物理世界的風險。只有通過持續(xù)監(jiān)測其工具調(diào)用鏈，才能發(fā)現(xiàn)這些異常模式。