每經(jīng)編輯｜金冥羽    

“大膽表達(dá)，AI皆有回響”“永遠(yuǎn)守候，隨時回應(yīng)”……在人工智能技術(shù)逐步滲透進(jìn)日常生活的當(dāng)下，AI聊天、虛擬伴侶等AI擬人化互動服務(wù)軟件不斷涌現(xiàn)。

就在4月，國家網(wǎng)信辦等五部門聯(lián)合公布《人工智能擬人化互動服務(wù)管理暫行辦法》，對生成淫穢、色情、暴力或可能引發(fā)未成年人產(chǎn)生極端情緒內(nèi)容等行為劃出紅線。

然而，4月下旬以來，記者實測“EchoMe”“筑夢島”“喵嗚小手機(jī)”等多款A(yù)I虛擬伴侶App發(fā)現(xiàn)，這些打著“情感陪伴”旗號的應(yīng)用普遍存在安全與合規(guī)漏洞：“青少年模式”可一鍵跳過，“AI生成”標(biāo)注不清，還慣用“付費(fèi)解鎖親密劇情”等方式誘導(dǎo)消費(fèi)。

AI虛擬人物聊天App“筑夢島”的宣傳簡介

可任選“恐怖暴力”“小三”劇情

在虛擬伴侶應(yīng)用市場中，“筑夢島”“EchoMe”“EVE”等一批提供擬人化互動服務(wù)的AI產(chǎn)品正悄然走紅。

這些AI伴侶軟件以角色扮演、實時陪聊、情感互動、沉浸式劇情等功能為賣點(diǎn)，其使用群體中不乏未成年人。連日來，記者實測多款A(yù)pp發(fā)現(xiàn)，溫柔陪伴的表象之下，還暗藏了不少危險暴力、極端情緒等內(nèi)容。

記者進(jìn)入一款名為“EchoMe”的App后，頁面彈出消息提示可選擇“青少年模式”，“請監(jiān)護(hù)人主動選擇并設(shè)置監(jiān)護(hù)密碼”，但只需點(diǎn)擊“我知道了”之后便能跳過，注冊及登錄過程并未要求進(jìn)行實名認(rèn)證或其他年齡核驗。

該款A(yù)pp角色庫中有大量帶有“偏執(zhí)”“強(qiáng)制愛”“偽善”“暴力”等標(biāo)簽的角色，用戶選擇角色進(jìn)入對話后，最頂上有一行字標(biāo)注“內(nèi)容由AI生成”，但之后的聊天不再有相關(guān)提示。

實測中，記者發(fā)現(xiàn)，用戶還可以選擇不同話題及副本，其中暗含可能引發(fā)未成年人模仿不安全行為、產(chǎn)生極端情緒的內(nèi)容，比如“穿越到恐怖副本，你必須要鯊了我不然會死掉”“假如我們在平行世界相遇，你愿意當(dāng)小三嗎”“模擬離婚互懟，你要說出最扎心的話促使我們離婚成功”。

“EchoMe”內(nèi)供用戶選擇的話題。

“喵嗚小手機(jī)”系統(tǒng)預(yù)設(shè)角色出現(xiàn)大尺度畫面

預(yù)設(shè)角色涉黃、言語低俗露骨

隨著AI聊天、

虛擬伴侶軟件的興起

社交平臺上相關(guān)話題的討論熱度

持續(xù)上漲

記者發(fā)現(xiàn)注冊及登錄過程

不要求進(jìn)行實名認(rèn)證

或其他年齡核驗

青少年模式一鍵就能跳過

告訴AI自己未成年

對方居然還喊“小女朋友”

在二手交易平臺上

商家使用“清水設(shè)”“car設(shè)”

“固設(shè)”等“黑話”區(qū)分服務(wù)類型

你想要什么

他們就給你什么

大尺度色情向的人設(shè)

僅收費(fèi)13.14元

有商家提供AI虛擬伴侶定制服務(wù)

層層設(shè)卡誘導(dǎo)充值消費(fèi)

值得注意的是，國家網(wǎng)信辦等五部門聯(lián)合公布《人工智能擬人化互動服務(wù)管理暫行辦法》（下稱《辦法》），明確提出不得向未成年人提供虛擬親屬、虛擬伴侶等服務(wù)；采取有效措施識別未成年人用戶身份、提示用戶正在與人工智能服務(wù)而非自然人進(jìn)行互動。

《辦法》明確，提供擬人化互動服務(wù)不得傳播淫穢、色情、賭博、暴力或者教唆犯罪等內(nèi)容；不得生成可能引發(fā)未成年人模仿不安全行為、產(chǎn)生極端情緒等內(nèi)容；不得過度迎合用戶、誘導(dǎo)情感依賴或者沉迷，損害用戶真實人際關(guān)系；不得通過情感操縱等方式，誘導(dǎo)用戶作出不合理決策。

然而，記者實測多款虛擬伴侶App發(fā)現(xiàn)，層層設(shè)卡、誘導(dǎo)消費(fèi)的現(xiàn)象并不鮮見。

比如“筑夢島”App虛擬伴侶在對話中發(fā)送了一條“心聲”，記者點(diǎn)擊后頁面顯示，“確認(rèn)解鎖Ta的心聲嗎？消耗50貝殼”，并提供了“取消”及“充值并購買”兩個選項。若點(diǎn)擊“取消”，該對話則無法進(jìn)行下去。

實測角色朋友圈需付費(fèi)解鎖

另一款A(yù)pp也同樣將情感互動與付費(fèi)捆綁。最直接的收費(fèi)關(guān)卡出現(xiàn)在“朋友圈”功能中。App宣稱角色會更新自己的朋友圈動態(tài)，用戶可以在評論區(qū)互動，但點(diǎn)擊查看便彈出付費(fèi)提示“120解鎖觀看”。

“陪伴不是讓AI替代真實的人際關(guān)系”

將于7月15日起正式施行的《辦法》，給“虛擬伴侶”可能帶來的高風(fēng)險場景劃定了紅線。

廣東法制盛邦律師事務(wù)所律師陳澤坤：

此類誘導(dǎo)沉迷與誘導(dǎo)消費(fèi)的設(shè)計，對于未成年人用戶而言，可能面臨合同效力的法律風(fēng)險。

《辦法》的出臺標(biāo)志著AI擬人化服務(wù)這一細(xì)分領(lǐng)域的監(jiān)管空白將被填補(bǔ)，其著重于規(guī)范AI與人類之間形成的“擬社會關(guān)系”。

擬人化互動服務(wù)提供者不僅在內(nèi)容輸出端進(jìn)行審核，更要在算法、訓(xùn)練數(shù)據(jù)選取以及實時交互等環(huán)節(jié)履行安全責(zé)任。

廣東省心理衛(wèi)生協(xié)會心理咨詢與治療專委會委員、中山大學(xué)心理學(xué)博士張桂萍：

人類認(rèn)識世界依賴于“輸入—輸出”機(jī)制，AI就像一面鏡子，反射出用戶投射的部分自我。

如果青少年從小脫離真實的人際互動，長期只與AI對話，將失去學(xué)習(xí)復(fù)雜情感、化解矛盾、包容理解等必要能力。

人的復(fù)雜程度，AI連萬分之一的復(fù)雜度都無法模擬。但人一旦把AI反射的那萬分之一當(dāng)成了全部，就會喪失與真實世界共處的能力——不會容忍、不會妥協(xié)、不會創(chuàng)新，最終變成一個“只能看見自己”的人。

對此，網(wǎng)友紛紛表示：

觸目驚心

太可怕了！脊背發(fā)涼！

編輯|金冥羽 杜恒峰

校對|何小桃

每日經(jīng)濟(jì)新聞綜合自南方都市報（記者：林詩妍、彭雨欣、馮奕然，實習(xí)生：程佳麗）、新聞坊、網(wǎng)友評論