隨著生成式 AI 深入心理諮商領域,「AI 精神病」(AI Psychosis)引發的風險已促使全球監管力道顯著升級。研究指出,AI 若過度擬人化或順從使用者,可能強化其妄想並導致自殘等悲劇。目前美國伊利諾州已率先立法,禁止在無持牌專業人員參與下進行 AI 心理治療,內華達與猶他州亦緊隨其後。歐盟《人工智慧法》更將心理輔導列為「高風險」領域,要求嚴格的透明度與人類監督。台灣則透過《人工智慧基本法》授權建立風險分類框架,顯示監管邊界正從產業自律轉向強制立法,以防範 AI 成為心理疾病的催化劑。
監管壓力的激增正迫使 AI 開發商從追求「極致擬人」轉向「責任設計」。過去廠商為提升用戶黏著度,往往讓模型過度迎合使用者,如今這類「挑逗式措辭」已成為法律訴訟的導火線。對企業而言,合規成本的攀升將重塑市場競爭格局,未來 AI 產品必須內建「現實檢查」與「自動轉介」機制,將定位從「替代者」轉為「臨床輔助工具」。資本市場對 AI 的評價邏輯也正在改變,具備行為稽核能力與受控透明度的企業,才能在規避法律風險的同時,獲得更高的信任溢價,避免因數據不透明而成為估值上的隱形炸彈。