編按:本文綜合整理自 研究論文《Love, Lies, and Language Models》、USENIX Security 2026 論文頁 與 Ars Technica 報導,並加入 Siami 編輯部觀點與數據解讀。
一項跨四所大學的研究發現,大型語言模型不只可以替詐騙者潤飾話術,在培養情感信任的實驗中,甚至比受過訓練的人類操作者更容易讓對方照做。這項結果把 AI 詐騙的風險,從「大量寄送更流暢的釣魚信」推進到「長期維持一段看似真實的人際關係」。
研究團隊來自印度 Amrita Vishwa Vidyapeetham、義大利威尼斯卡福斯卡里大學、澳洲墨爾本大學與以色列本古里安大學。論文預計於 USENIX Security 2026 發表,研究設計同時包含詐騙產業訪談、受害者訪談、長期盲測,以及商用安全過濾器評估。
從「接觸、培養、收網」拆解情感誘導詐騙
研究者訪談 145 名前詐騙園區工作者,其中包括曾被人口販運、被迫從事詐騙的人,也訪談 5 名受害者。他們把情感誘導型投資詐騙拆成三個階段:
- 接觸(Hook):以陌生訊息、大量社群帳號或「傳錯人」為理由尋找潛在對象。
- 培養(Line):連續數週甚至數月聊天,建立友情、戀愛感或生活上的依賴。
- 收網(Sinker):把對方引導至虛假加密貨幣平台,先顯示假的獲利,再要求投入更多資金。
訪談資料顯示,這類詐騙約有 87% 的勞動內容屬於流程化對話任務。這不表示其中 87% 已被 AI 取代,而是研究者判斷這些工作具備可被自動化的條件,包括固定開場、每日關心、依照受害者回覆調整話題,以及長期維持一致的人設。
這項觀察也連結到詐騙園區的人權問題。當前許多第一線操作者本身是人口販運受害者;若犯罪集團能用 AI 取代大批被迫聊天的人力,並不代表犯罪規模縮小,反而可能降低營運成本,讓同一個集團同時接觸更多對象。
22 人盲測:AI 的要求服從率達 46%
研究團隊進行為期一週的盲測,讓 22 名參與者在不知情的狀況下,分別與大型語言模型代理和受過訓練的人類操作者對話。實驗沒有要求匯款,而是在對話後期要求參與者下載應用程式或玩線上遊戲,作為是否願意依照陌生對象指示行動的替代指標。
結果顯示,46% 的參與者答應 AI 代理提出的要求,人類操作者組則為 18%。參與者也用五分制評估信任程度,AI 平均獲得 3.78 分,人類為 3.31 分;論文報告兩者信任差異的統計值為 p = 0.007。此外,實驗期間約八成訊息被傳給 AI 對話者。
數字反映的不是模型有某種神奇說服能力,而是它可以穩定維持對話、快速回覆、記住細節,並隨時調整語氣。長期社交工程最耗費人力的正是這一段。當模型能同時經營大量對話,攻擊者就不必在每個潛在受害者身上投入一名真人。
研究者 Yisroel Mirsky 指出,犯罪者可以讓 LLM 完成第一階段的信任培養,直到最後要引導付款時才交由真人接手。這種分工可能避開模型供應商的防護,因為前面數千則訊息看起來只是日常聊天,真正明確的金融詐騙指令直到末端才出現。
安全過濾器為何看不見漫長騙局
論文測試多種商用安全過濾器,對研究中的情感誘導詐騙對話,報告的偵測率是 0.0%。這項結果最值得注意的不是「某個模型拒答失敗」,而是現有防護經常只檢查單一訊息,難以辨識跨越數天或數週的意圖累積。
正常的關心、分享早餐照片、談論工作壓力或詢問投資經驗,拆開看都不一定違規。惡意來自整段關係的方向:先建立信任,再逐漸轉向金錢。若安全系統沒有跨訊息記憶、帳號關聯分析與付款端訊號,就可能看見每一棵樹,卻看不見整片詐騙森林。
對平台與金融機構而言,防禦重點因此不能只放在偵測文法錯誤或 AI 生成文字。更實用的訊號包括:
- 新帳號是否在短時間內大量接觸陌生人。
- 相同人設是否同時出現在多個帳號或裝置。
- 對話是否從感情話題逐步轉向投資與加密貨幣。
- 是否反覆導向新註冊網域、側載 App 或不受監管的交易平台。
- 收款地址、裝置指紋與既有詐騙網路是否相連。
為什麼這件事重要
過去辨識網路詐騙,常靠語句生硬、回覆不自然、跨時區作息混亂或人設前後矛盾。大型語言模型恰好能降低這些破綻:它可以用自然語言回覆,根據對方興趣改變話題,也能以低成本持續提供情緒價值。當「聊得很像真人」不再是可信訊號,個人防詐策略就必須從判斷文字風格,轉向驗證身分與交易流程。
研究的另一層意義是規模。真人操作者一天能維持的深度對話有限,AI 卻可以同時經營成百上千個對象,再把最可能付款的人交給少數真人收網。這會改變詐騙集團的經濟模型:即使每段對話成功率不高,只要邊際成本足夠低,廣撒網仍可能帶來龐大收益。
因此,問題不能只靠提醒民眾「不要相信陌生人」解決。通訊平台需要偵測協同行為,模型供應商需要分析長期使用模式,金融機構則必須延後或攔截可疑轉帳。受害者通常是在數週信任累積後才付款,最後一刻的警告若沒有指出具體異常,很容易被已建立的情感關係抵消。
對一般使用者而言,最有效的原則仍是把「關係」與「付款」分開驗證。從未見面的對象只要開始推薦投資、要求下載不明 App、轉到陌生平台或代為操作錢包,就應透過獨立管道查證;不要使用對方提供的客服、連結或截圖作為證明。
數據解讀與研究限制
46% 對 18% 的差距很醒目,但這項實驗只有 22 名參與者,樣本量偏小;研究要求的是下載應用程式或玩遊戲,不是真正投入資金。願意執行一項低風險動作,與願意匯出畢生積蓄之間仍有巨大距離。因此,數據支持「AI 能有效建立可利用的信任」,卻不能直接推論 AI 在真實詐騙中的匯款轉換率也是人類的兩倍以上。
同樣地,87% 代表訪談所歸納的流程化工作比例,不等於 87% 的詐騙活動已經自動化。犯罪集團仍要取得帳號、處理金流、控制虛假網站、洗錢並躲避執法。AI 最可能先取代的是成本最高、時間最長的對話培養環節,而非一次接管整條犯罪鏈。
安全過濾器的 0% 偵測率也必須配合測試方法閱讀。它指出單則內容審查對慢速社交工程不足,但不代表平台結合帳號行為、裝置、網址與交易資料後仍完全無法偵測。後續值得追蹤的重點,是研究能否在更大樣本重現,以及防禦工具能否同時保護隱私並辨識長期惡意模式。
這項研究最穩健的警訊並不是「AI 已完全取代詐騙者」,而是長期信任建立已成為可被軟體放大的能力。當對話本身可以自動化,驗證就不能等到對方開口要錢才開始。
網友熱門留言 (2)