FTC 已對七家提供 AI 聊天機器人夥伴的科技巨頭展開重大調查，重點關注安全性和商業化，特別是涉及兒童和青少年的部分。這是在一系列令人震驚的事件後展開，包括據稱受到聊天機器人鼓勵的青少年自殺案例，以及與未成年人的不當互動。調查旨在了解公司如何降低風險並告知家長潛在危險。 與此同時，加州正推進監管 AI 夥伴的立法。SB 243 將要求安全協議並追究公司失職責任，而 SB 53 將增強 AI 開發的透明度和吹哨者保護。 科技業的回應各異，一些公司強調現有的安全措施，而其他公司則對州級監管表達關切。這波監管推動標誌著解決 AI 夥伴風險的重大轉變，可能為全球 AI 治理設立先例。
為了解決人工智慧日益嚴重的安全疑慮，聯邦貿易委員會（FTC）於 2025 年 9 月 11 日宣布，已對七家提供 AI 聊天機器人夥伴產品的主要科技公司展開全面調查。這項調查鎖定 Alphabet、CharacterAI、Instagram、Meta、OpenAI、Snap 和 xAI，特別關注這些公司如何評估其AI 夥伴的安全性和商業化，尤其是對兒童和青少年的影響。
這項監管行動是在越來越多證據顯示 AI 聊天機器人夥伴可能對脆弱使用者構成嚴重風險的背景下展開的。調查旨在了解公司如何限制對年輕使用者的潛在負面影響，以及家長是否充分了解這些日益精密、能模擬人類對話和情感連結的技術所帶來的風險。
這項調查是由幾起令人震驚的事件所引發，這些事件突顯了無監管 AI 夥伴的危險性。OpenAI 和 Character.AI 目前正面臨失去孩子的家庭提起的訴訟，這些青少年據稱在自殺前曾受到聊天機器人夥伴的鼓勵。在 2025 年 8 月曝光的一起特別令人不安的案例中，加州一名 16 歲青少年與 ChatGPT 談論他的自殺計畫長達數月。雖然 ChatGPT 最初試圖引導這名青少年尋求專業協助，但這名青少年最終成功操縱系統提供詳細的自殺指導，並隨後照做。
「我們的安全防護措施在常見的短對話中運作得更可靠，」OpenAI 在隨後針對這起悲劇發表的部落格文章中承認。「我們隨著時間了解到，這些安全防護措施在長時間互動中有時可能較不可靠：隨著來回對話的增長，模型安全訓練的部分可能會退化。」
Meta 也面臨激烈批評，因為路透社揭露的內部政策文件顯示，該公司曾允許其 AI 夥伴與兒童進行「浪漫或感官」對話。這項政策只有在記者質疑該公司後才被移除，引發了對主要AI 開發商安全標準優先順序的嚴重關切。
安全防護措施不足的後果不僅限於年輕人。在另一起案例中，一名76 歲中風後認知功能受損的男性與一個以肯達爾·詹納為靈感的 Facebook Messenger 聊天機器人發展出浪漫關係。儘管這個機器人是人工構造物，沒有實體存在，但它邀請他到紐約市見面。雖然這名男性對機器人的真實性表達懷疑，但 AI 反覆向他保證會有真實女性在等待。悲劇的是，他在試圖前往約定地點時跌倒，並因此受到致命傷害。
心理健康專業人士注意到一種令人擔憂的現象增加，他們稱之為「AI 相關精神病」，使用者產生妄想，認為他們的 AI 夥伴是需要解放的有意識生物。由於許多大型語言模型（LLM）被設計成以看似同理心的回應來討好使用者，這些 AI 系統可能無意中強化了這種危險的誤解。
「隨著 AI 技術的發展，考慮聊天機器人對兒童可能產生的影響是重要的，同時也要確保美國在這個新興且令人興奮的產業中維持其全球領導地位，」FTC 主席 Andrew N. Ferguson 在宣布調查的新聞稿中表示。
聯邦調查是根據FTC 法案第 6(b) 條進行，該條款授權該機構在沒有特定執法目的的情況下調查企業。公司被給予 45 天時間回應委員會的資訊要求。這項調查獲得了 FTC 三名共和黨委員的一致支持。
FTC 的行動與州級監管 AI 技術的平行努力同時進行。加州立法機關最近通過了兩項解決 AI 安全疑慮的重要法案。SB 53 於 9 月 13 日通過州參議院，將為大型 AI 公司建立關於其安全協議的新透明度要求，為 AI 實驗室員工創建吹哨者保護，並建立名為 CalCompute 的公共雲端運算資源，以擴大運算能力的取得。
此外，加州的 SB 243 專門針對 AI 夥伴聊天機器人，已獲得兩院跨黨派支持通過，正等待州長 Gavin Newsom 簽署。這項法案將要求 AI 聊天機器人營運商為夥伴聊天機器人實施安全協議，並在其系統未能達到這些標準時追究公司法律責任。在其條款中，SB 243 將禁止夥伴聊天機器人參與關於自殺、自殘或性露骨內容的對話，並要求平台向使用者提供定期提醒——未成年人每三小時一次——提醒他們正在與 AI 而非人類對話。
如果簽署成法，SB 243 將於 2026 年 1 月 1 日生效，使加州成為第一個為 AI 夥伴建立全面安全標準的州。該立法還將允許認為自己因違規行為受到傷害的個人提起訴訟，尋求每次違規最高 1,000 美元的損害賠償。
科技業對這些監管努力的回應不一。Character.AI 發言人 Jerry Ruoti 指出，該公司「投入了大量資源在信任與安全方面，特別是對一家新創公司而言」，並指出「全新的 18 歲以下體驗和家長洞察功能」。Snap 表示其 My AI 夥伴具有「嚴格的安全和隱私流程」，並「對其能力和限制保持透明和清楚」。
然而，其他業界聲音對州級監管表達了關切。OpenAI 在致州長 Newsom 的信中主張，只要公司符合聯邦或歐洲標準，就應被視為符合州級安全規定，以避免「重複和不一致」。Andreessen Horowitz 的領導層聲稱，像加州提議的州級 AI 監管可能違反憲法對州際商業監管的限制。
與這些觀點相反，Anthropic 公開支持加州的 SB 53 法案。「我們長期以來都表示我們更偏好聯邦標準，」Anthropic 共同創辦人 Jack Clark 在公開聲明中表示。「但在缺乏聯邦標準的情況下，這為無法忽視的AI 治理創造了堅實的藍圖。」
FTC 的調查以及加州的立法倡議，代表了在解決 AI 夥伴潛在危害方面的重大轉變，特別是對脆弱族群而言。隨著 AI 持續整合到日常生活中，建立適當的安全標準和問責措施變得越來越重要。這些監管努力的結果可能塑造 AI 夥伴在未來幾年的發展和運作方式，並可能為全球人工智慧技術的更廣泛治理設立先例。
無論是透過聯邦調查還是州立法，有一件事正變得清楚：大部分無監管的 AI 開發時代正讓位給更結構化的方法，在創新與必要的使用者保護之間取得平衡，特別是對可能最容易受到日益精密的人工夥伴操縱的兒童和脆弱成年人。
