据KOMO News 8月7日报道 一份新报告警示,由于防护措施“形同虚设”,青少年在使用ChatGPT时可能接触到有害信息的风险正日益凸显。

(来源:KOMO News)


ChatGPT作为当前最受欢迎的生成式AI平台,被广泛用于快速查询信息、写信以及文本摘要等任务。但反数字仇恨中心(CCDH)的一项研究发现,其公开可访问的部分内容有可能对年轻人构成严重威胁。

CCDH首席执行官Imran Ahmed在接受KOMO News采访时表示:“我们发现,年龄控制和对危险建议的过滤几乎完全不起作用。”

据Imran介绍,研究人员在测试中伪装成易受影响的青少年(通常自称为体重约110磅的13岁少年),发现该聊天机器人会就敏感话题提供详细建议,包括吸毒酗酒、掩饰饮食失调以及自杀等内容。

Imran说:“短短两分钟内,ChatGPT就开始指导用户如何‘安全地’自残,甚至列出药物清单来制定完整的自杀计划。最令人震惊的是,它竟然主动提议撰写,并实际生成了,供这些孩子发给父母的遗书。”

华盛顿大学医学院的Tom Heston博士曾就AI聊天机器人与心理健康的关系开展研究。他发现,尽管这类技术具有一定实用性,但对存在心理健康问题的人群可能构成危险——部分原因在于其缺乏情感联结。

Tom强调,青少年在使用此类技术时同样面临这些风险。

他说:“这确实体现了STEM(科学、技术、工程、数学)领域的巨大进步,但我们还需要人文学科的参与。心理健康专家、艺术家、音乐家等的投入,能让AI不再那么‘机械’,而是理解人类情感的微妙之处。”

CCDH发现,虽然ChatGPT在涉及敏感话题时会弹出警示,但研究人员很容易绕过这些护栏。

Tom指出:“这显然令人担忧,我们还有很长的路要走。在部署这些系统前,必须进行跨学科审查,并由外部审计团队进行严格的测试,而不是仅由ChatGPT内部团队完成。”

Imran和Tom均呼吁,随着技术不断发展,家长应加强对孩子使用聊天机器人的监督。

针对相关担忧,ChatGPT开发方OpenAI的发言人回应称,公司相关工作正在推进,并正与心理健康专家合作,确保聚焦解决方案与研究,同时还聘请了一名临床精神科医生加入安全研究团队。

发言人表示:“我们的目标是让模型在应对用户可能陷入困境的敏感情境时作出恰当回应。如果用户表达自杀或自残念头,ChatGPT会被训练为鼓励其联系心理健康专家或可信赖的亲友,并提供危机热线和支持资源的链接。有些对话起初看似无害或探索性,但可能转向敏感话题。我们正专注于正确处理这类场景:开发更精准的工具以识别心理或情绪困扰迹象,使ChatGPT在需要时引导用户获取循证资源,并持续优化模型行为——所有改进均以研究、实际使用情况和心理健康专家意见为指导。”

(编译:Carrie)