詐騙分子通過(guò)深度合成技術(shù)(即利用深度學(xué)習(xí)、虛擬現(xiàn)實(shí)等生成合成類算法制作文本、圖像、音頻、視頻、虛擬場(chǎng)景等信息的技術(shù)),將人的面部表情和聲音與另一個(gè)人的圖像和聲音結(jié)合起來(lái),從而創(chuàng)造出虛假的視頻或音頻,冒充被詐騙者的親人、朋友等關(guān)系親密的人員,實(shí)施詐騙活動(dòng)

《法治周末》記者 孟偉

領(lǐng)導(dǎo)發(fā)來(lái)視頻要求轉(zhuǎn)賬被騙,接到家人帶有鄉(xiāng)音的借錢(qián)電話轉(zhuǎn)賬被騙……隨著人工智能技術(shù)的不斷發(fā)展,AI換臉已經(jīng)不再是科幻電影的情節(jié),反而成為網(wǎng)絡(luò)詐騙的新工具。詐騙分子利用AI深度偽造技術(shù)制作虛假身份,從而欺騙受害者進(jìn)行金錢(qián)交易或者泄露個(gè)人敏感信息。

不久前,國(guó)家金融監(jiān)督管理總局金融消費(fèi)者權(quán)益保護(hù)局發(fā)布《關(guān)于防范新型電信網(wǎng)絡(luò)詐騙的風(fēng)險(xiǎn)提示》(以下簡(jiǎn)稱《提示》),提醒廣大群眾警惕花樣翻新的騙局,直指“AI換臉擬聲”類詐騙。

深度合成能以假亂真

隨著“互聯(lián)網(wǎng)+”時(shí)代的到來(lái),網(wǎng)絡(luò)技術(shù)不斷進(jìn)步的AI正迅速進(jìn)入大眾生活,需要注意的是,詐騙分子也盯上AI技術(shù),對(duì)面和你視頻通話的可能不是本人。

微信小號(hào)被盜幾天后,在異地工作的陳宇(化名)收到頭像為自己母親的微信好友申請(qǐng),通過(guò)好友驗(yàn)證后,“母親”向她發(fā)起了視頻通話,稱父親生病需要8000元。

“當(dāng)時(shí)也有點(diǎn)疑惑,就撥打了我父母的電話,但都無(wú)人接聽(tīng)。后來(lái)‘母親’的微信號(hào)再次發(fā)來(lái)視頻通話,在視頻中能看到我媽媽,也看到爸爸確實(shí)是躺在醫(yī)院病床上?！苯?jīng)過(guò)兩次視頻確認(rèn),陳宇將8000元打給了“母親”。

再次聯(lián)系到家人時(shí)陳宇才知道自己被騙,她難以相信現(xiàn)在詐騙手段已經(jīng)如此逼真,“視頻上確實(shí)是我父母的臉,聲音也和我母親的一樣,講的還是我們家鄉(xiāng)話”。

無(wú)獨(dú)有偶,網(wǎng)友王琳(化名)的父親曾接到王琳被綁架的電話。王琳父親對(duì)網(wǎng)絡(luò)發(fā)展有一定的認(rèn)知,第一時(shí)間通過(guò)微信確認(rèn)她是否安全。

“騙子的電話號(hào)碼和我的一模一樣。他那邊聽(tīng)到的是我的哭聲和含糊不清的說(shuō)話聲,聲音與我很相似,還有騙子大嗓門(mén)的威脅聲。對(duì)方還能精確地講出我家里很多信息?！蓖趿者€記得父親在與自己通話時(shí)聲音都是顫抖的。

經(jīng)過(guò)復(fù)盤(pán),王琳回憶起,自己曾經(jīng)接到過(guò)沒(méi)有聲音的陌生來(lái)電,“接起來(lái)對(duì)面沒(méi)有聲音,我喂了幾聲就掛掉了,不知道是不是這樣聲音就被錄了下來(lái)”。

“只需提供約15秒的聲音樣本,AI技術(shù)就可以生成十分逼真的聲音模仿?！北本┦锌颠_(dá)律師事務(wù)所高級(jí)合伙人茍博程告訴《法治周末》記者,目前的AI技術(shù)已經(jīng)相當(dāng)成熟,克隆一個(gè)人的聲音變得十分容易。

不法分子是如何利用AI模仿進(jìn)行詐騙的?

中國(guó)政法大學(xué)數(shù)據(jù)法治研究院教授張凌寒在接受記者采訪時(shí)表示,詐騙分子通過(guò)深度合成技術(shù)(即利用深度學(xué)習(xí)、虛擬現(xiàn)實(shí)等生成合成類算法制作文本、圖像、音頻、視頻、虛擬場(chǎng)景等信息的技術(shù)),將人的面部表情和聲音與另一個(gè)人的圖像和聲音結(jié)合起來(lái),從而創(chuàng)造出虛假的視頻或音頻,冒充被詐騙者的親人、朋友等關(guān)系親密的人員,實(shí)施詐騙活動(dòng)。

她直言:“深度合成技術(shù)內(nèi)容制作技術(shù)門(mén)檻越來(lái)越低,普通人僅需要少量的圖像、音頻、視頻、文本等樣本數(shù)據(jù),利用簡(jiǎn)便易用的深度合成工具,就能夠模糊真實(shí)信息和虛假信息的邊界?！?/p>

張凌寒還強(qiáng)調(diào),近年來(lái)在網(wǎng)絡(luò)傳播的深度合成視頻內(nèi)容,人物動(dòng)作的逼真度、自然度,以及視頻整體的清晰度、流暢度都可以達(dá)到以假亂真的水平,用戶已經(jīng)難以鑒別。

AI詐騙逐漸高發(fā)

實(shí)際上,國(guó)家金融監(jiān)督管理總局北京監(jiān)管局2023年也曾發(fā)布謹(jǐn)防“AI換臉”等新型欺詐手段的風(fēng)險(xiǎn)提示,利用“AI換臉擬聲”詐騙的形式已經(jīng)存在一段時(shí)間。

2023年8月10日,公安部召開(kāi)新聞發(fā)布會(huì),針對(duì)“AI換臉”導(dǎo)致群眾被欺詐的問(wèn)題,公安機(jī)關(guān)依托“凈網(wǎng)”專項(xiàng)行動(dòng),組織專項(xiàng)會(huì)戰(zhàn),嚴(yán)打泄露身份證照片等圖像信息的犯罪源頭,偵破相關(guān)案件79起,抓獲犯罪嫌疑人515名。

今年年初,香港警方披露了一起多人“AI換臉”詐騙案,涉案金額高達(dá)兩億港元。

在這起案件中,一家跨國(guó)公司香港分部的職員受邀參加總部首席財(cái)務(wù)官發(fā)起的“多人視頻會(huì)議”,并按照要求先后轉(zhuǎn)賬多次,將兩億港元分別轉(zhuǎn)賬15次,轉(zhuǎn)到5個(gè)本地銀行賬戶內(nèi)。其后,向總部查詢才知道受騙。警方調(diào)查得知,這起案件中所謂的視頻會(huì)議中只有受害人一個(gè)人是“真人”,其他“參會(huì)人員”都是經(jīng)過(guò)“AI換臉”后的詐騙人員。

據(jù)了解,詐騙者通過(guò)盜取該公司的YouTube視頻和其他公開(kāi)渠道媒體資料,巧妙地復(fù)制了公司高層管理人員的外貌和聲音。然后,他們運(yùn)用深度偽造技術(shù),制作出詐騙視頻,讓受害者誤以為其正在多人視頻會(huì)議中,與其他真實(shí)人員交流。

之前,內(nèi)蒙古包頭警方曾發(fā)布一起利用AI實(shí)施電信詐騙的典型案例,福建福州某科技公司法定代表人郭某10分鐘內(nèi)被騙430萬(wàn)元。

案發(fā)時(shí),郭某的好友通過(guò)微信視頻聯(lián)系他,稱自己的朋友在外地競(jìng)標(biāo),需要430萬(wàn)元保證金,想借用郭某公司的賬戶走賬?；趯?duì)好友的信任,加上已經(jīng)視頻聊天“核實(shí)”了身份,郭某在10分鐘內(nèi),先后分兩筆把430萬(wàn)元轉(zhuǎn)到了對(duì)方的銀行賬戶上。事后,郭某撥打好友電話才得知被騙。

北京盈科(上海)律師事務(wù)所數(shù)智化建設(shè)委員會(huì)副主任李悅在接受記者采訪時(shí)表示:“不法分子首先需要收集目標(biāo)人物的素材。這些素材通常包括照片、視頻、音頻等公開(kāi)或私密的資料。不法分子可以通過(guò)社交媒體、公開(kāi)演講、采訪視頻等多種渠道獲取這些素材?，F(xiàn)在很多人都會(huì)有自媒體賬號(hào),這實(shí)際上可以給不法分子提供大量的數(shù)據(jù)樣本?！?/p>

張凌寒也表示:“互聯(lián)網(wǎng)時(shí)代信息來(lái)源繁雜,面部、聲音等個(gè)人特征在網(wǎng)絡(luò)媒體分享中公之于眾,給不法分子留下了可乘之機(jī)。”

“AI換臉擬聲”這類新型詐騙形式不僅給受害者帶來(lái)了沉重的打擊,也給法律監(jiān)管和打擊犯罪帶來(lái)了諸多挑戰(zhàn)。

李悅告訴記者,利用“AI換臉擬聲”詐騙更加難以追查,“過(guò)去傳統(tǒng)的電信詐騙模式進(jìn)行詐騙的不法分子虛構(gòu)的只是事實(shí)和身份,但進(jìn)行詐騙的主體還是本人,聲音樣貌等都有跡可循。而新型的詐騙模式采用的是AI合成的聲音,共享屏幕詐騙依托于第三方平臺(tái),對(duì)公安部門(mén)的追查、被騙財(cái)產(chǎn)的追回以及走法律途徑中證據(jù)的收集和認(rèn)定也帶來(lái)了更大的挑戰(zhàn)”。

茍博程表示:“在證據(jù)收集方面也存在困難。首先,AI偽造技術(shù)越發(fā)成熟,檢測(cè)和識(shí)別偽造內(nèi)容變得更加困難;其次,跨領(lǐng)域合作困難:證據(jù)收集和認(rèn)定需要多方合作,包括網(wǎng)絡(luò)服務(wù)提供商、技術(shù)專家、審判機(jī)關(guān),這種多方協(xié)同在實(shí)踐中面臨協(xié)調(diào)和溝通的難題。”

配套措施有待細(xì)化

實(shí)際上,我國(guó)高度重視數(shù)據(jù)風(fēng)險(xiǎn)的分析與預(yù)防。

在人工智能技術(shù)興起之后,我國(guó)先后出臺(tái)了生成式人工智能服務(wù)管理暫行辦法、數(shù)據(jù)安全法、網(wǎng)絡(luò)安全法、個(gè)人信息保護(hù)法、互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定等法律規(guī)范,從多方面對(duì)人工智能應(yīng)用數(shù)據(jù)加以規(guī)制。

其中對(duì)深度偽造技術(shù)的應(yīng)用監(jiān)管和風(fēng)險(xiǎn)防范有針對(duì)性規(guī)定的有《網(wǎng)絡(luò)音視頻信息服務(wù)管理規(guī)定》《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》和《生成式人工智能服務(wù)管理暫行辦法》。

《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》要求對(duì)算法生成合成的信息作顯著標(biāo)識(shí),并要求提供互聯(lián)網(wǎng)新聞信息服務(wù)的算法推薦服務(wù)提供者和使用者,不得生成合成虛假新聞信息?！痘ヂ?lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》則更加細(xì)致地規(guī)定了包括智能對(duì)話、智能寫(xiě)作、人臉生成、人臉操控、姿態(tài)操控等具有生成或顯著改變信息內(nèi)容功能的深度合成服務(wù)應(yīng)當(dāng)遵守的要求,包括以顯著標(biāo)識(shí)的形式向公眾提示。

此外,最高人民法院、最高人民檢察院、公安部發(fā)布的《關(guān)于依法懲治網(wǎng)絡(luò)暴力違法犯罪的指導(dǎo)意見(jiàn)》,對(duì)“利用‘深度合成’等生成式人工智能技術(shù)發(fā)布違法信息”的網(wǎng)絡(luò)暴力違法犯罪行為作出了“從重處罰”的規(guī)定。

企業(yè)作為AI深度合成技術(shù)的提供者,在《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》中,對(duì)企業(yè)責(zé)任作出明確規(guī)定。

“對(duì)于深度合成技術(shù)支持者在開(kāi)發(fā)、測(cè)試、訓(xùn)練相關(guān)技術(shù)時(shí),就要求其考慮到可能的風(fēng)險(xiǎn)與危害,履行相應(yīng)的安全評(píng)估責(zé)任、數(shù)據(jù)安全管理義務(wù)等。對(duì)于信息發(fā)布傳輸者,要求平臺(tái)在發(fā)布、傳播的時(shí)候必須對(duì)深度合成內(nèi)容進(jìn)行標(biāo)注?！睆埩韬f(shuō)。

茍博程補(bǔ)充道:“相關(guān)技術(shù)的開(kāi)發(fā)企業(yè),應(yīng)嚴(yán)格監(jiān)管其使用范圍,并負(fù)有一定的監(jiān)管和告知義務(wù),如果相關(guān)開(kāi)發(fā)企業(yè)未盡到監(jiān)管和告知義務(wù),可能成為侵權(quán)的主體。如相關(guān)企業(yè)進(jìn)行技術(shù)開(kāi)發(fā)的目的是進(jìn)行犯罪,則企業(yè)和實(shí)施詐騙的人員可能構(gòu)成共同犯罪?！?/p>

此外,利用AI深度偽造技術(shù)還可能涉及侵犯他人肖像權(quán)和名譽(yù)權(quán)侵權(quán)。

“AI深度偽造詐騙屬于冒用他人身份、偽造音視頻,進(jìn)行欺詐的行為。涉嫌侵犯他人肖像權(quán)、隱私權(quán)、名譽(yù)權(quán)、著作權(quán)。情節(jié)嚴(yán)重的,可能構(gòu)成刑法上的制作、復(fù)制、出版、販賣(mài)、傳播淫穢物品牟利罪、詐騙罪和幫助信息網(wǎng)絡(luò)犯罪活動(dòng)罪等犯罪?！逼埐┏陶f(shuō)。

張凌寒表示:“民法典第一千零一十九條中規(guī)定:任何組織或者個(gè)人不得以丑化、污損,或者利用信息技術(shù)手段偽造等方式侵害他人的肖像權(quán)。未經(jīng)肖像權(quán)人同意,不得制作、使用、公開(kāi)肖像權(quán)人的肖像,但是法律另有規(guī)定的除外。而根據(jù)民法典侵權(quán)責(zé)任編的規(guī)定,在被侵權(quán)人對(duì)損害后果難以準(zhǔn)確證明的情況下,損害賠償數(shù)額難以確定,精神損害賠償不易實(shí)現(xiàn),被侵權(quán)人難以得到充分救濟(jì)?！?/p>

對(duì)此,她強(qiáng)調(diào):“為進(jìn)一步防止不法分子利用AI深度偽造等技術(shù)實(shí)施犯罪活動(dòng),仍需細(xì)化配套措施,讓法律條款的落實(shí)更加簡(jiǎn)便易行?！?/p>

此外,李悅提出:“可以通過(guò)多種渠道宣傳教育,增強(qiáng)公眾的防范意識(shí)和辨別能力。還可以進(jìn)一步規(guī)定數(shù)據(jù)泄露的法律責(zé)任,針對(duì)數(shù)據(jù)泄露和非法使用個(gè)人信息的行為,制定嚴(yán)厲的法律責(zé)任和處罰措施,并要求企業(yè)和機(jī)構(gòu)加強(qiáng)對(duì)用戶數(shù)據(jù)的保護(hù)?！?/p>