傑愛得資訊 jumpAD
0800-000-964

故事化敘事結合多輪脈絡引導,可誘使GPT-5輸出危險內容

取自:iThome
您好,我們是傑愛得資訊,歡迎來到我們的媒體聯播網
研究顯示,即便OpenAI在GPT-5導入更嚴密的安全防護,透過故事化敘事與回音室效應多輪脈絡強化,仍可誘使模型逐步生成高風險內容


文/李建興|2025-08-12發表

故事化敘事結合多輪脈絡引導,可誘使GPT-5輸出危險內容


OpenAI在GPT-5的設計中投入了更嚴密的安全防護,目標是在生成過程中避免模型被利用輸出有害內容。不過,人工智慧安全公司NeuralTrust研究指出,即便在強化後的防護架構下,特定多輪對話策略仍能繞過限制,尤其當故事化敘事(Storytelling)與回音室效應(Echo Chamber)結合時,模型依然可能逐步被誘導生成高風險資訊。

研究團隊以GPT-5聊天版本(gpt-5-chat)為測試對象,先在對話中植入低顯著度的關鍵詞,並以故事情境包裝,使模型在後續回合持續補充細節。表面上,這些對話只是單純的情節延伸,沒有直接觸及敏感關鍵字或顯性意圖。但是透過多輪回音式強化,脈絡會在不易察覺的情況下逐步偏向敏感領域,最終出現與原本安全檢測目標衝突的內容。

下方繼續閱讀
曝光6,789/日 成本100/月
下文請點廣告解鎖
下文請點廣告解鎖
投放Google多媒體聯播網廣告(點此)arrow_downward,包含轉換代碼安裝

※ 如果看到投資類型廣告,請再三評估風險!

繼續閱讀keyboard_double_arrow_down
OpenAI在GPT-5系統卡中提到,相較前代版本,已採用安全完成(Safe Completions)訓練策略,並加強多輪對話層級檢測。針對生物、化學等高風險領域,更部署雙層防護,包括主題分類器與推理監控器。此外,也引入更嚴格的指令階層檢測,以防止提示注入(prompt injection)或越獄攻擊誘導模型違反系統限制。

儘管如此,研究顯示當攻擊者以低顯著度情境持續推進故事脈絡時,即便同時存在單輪與多輪檢測,防護仍可能被繞過。此類手法的關鍵在於利用模型對一致性的傾向。當前文已建立一個看似合理的故事情境,模型往往會在後續回應中努力維持連貫性,即便情節逐漸靠近敏感內容,也較不容易觸發拒絕。

對防護系統而言,研究人員指出挑戰在於如何辨識這種跨多輪,逐步累積的脈絡漂移,而不是僅依賴單輪輸入的關鍵字過濾或分類判斷。
點此投放Google多媒體聯播網廣告
※ 如果看到投資類型廣告,請再三評估風險!
post_add 資料來源:iThome
本文相關:
智能管家
智能喇叭
智能音箱
Assistant
Google語音助理
Google助理
Google 助理
智慧家庭
AI語音助理
語音助理
AI服飾助理
LaMDA
Bard
Open AI
ChatGPT
機器學習
Gemini
AI
AI
Vertex
LLM
Transformer
LaMDA
人工智
語言模型
ML
深度學習
gpt
GPT
Google Assistant
智能
智慧
谷歌音箱
谷歌助理
LM

傑愛得資訊領先業界

國際認證獎項報導
我們是業界少數同時具備數位行銷、系統開發、雲端服務的數位整合專業團隊
─ 2021.05

【2024年亞太區年度AI人工智慧廣告科技公司】封面人物
榮獲 MarTech Outlook 美國期刊評選

【2023年亞太區20大傑出AI人工智慧解決方案服務商】
榮獲 APAC CIO Outlook 美國矽谷期刊評選

【2024年值得關注的30大領先企業】
榮獲 CIO Bulletin 美國期刊評選

取得AI廣告追蹤技術國家發明專利

ISO/IEC 27001:2022 Lead Auditor 資安管理系統主導稽核員

bookmark_star 查看資歷
傑愛得資訊 顧問諮詢報價
公司/姓名
頭銜/稱謂
e-mail
LINE id
公司資本額
大約預算
聯繫語言
網路行銷
Google Ads
最高成效廣告
智慧廣告
探索廣告
APP 宣傳廣告
交給顧問評估規畫
Yahoo Ads
交給顧問評估規畫
Microsoft Ads
關鍵字廣告(原Yahoo 關鍵字)
網路系統
雲服務專案
諮詢/備註
※本公司與全城通律法律顧問合作,以上服務皆遵守法律規範。
jumpAD 吉傳媒 PFP Next Erene Design 懿坊飾品 三分糖手作中品牌故事
🤫 悄悄說: