原文标题:Meta now alerts parents if their teen discussed suicide or self-harm with its AI chatbot

这些变化发生之际,Meta 和其他科技公司正面临监管机构和家长对人工智能聊天机器人如何应对危机中的用户(尤其是青少年)的审查——这个责任问题日益影响着人工智能公司设计和营销其产品的方式。

Meta 表示,它已经建立了一个专门的人工智能系统来识别青少年明确提到伤害自己的对话。

梅塔在博客文章中写道:“我们理解收到这些警报可能会让家长感到多么痛苦。” “这就是为什么,随着我们不断改进我们的检测,我们的人工智能标记的所有聊天都将在发送警报之前进行手动审核。如果青少年的意图不明确,我们会谨慎行事并提醒家长。虽然这意味着我们有时可能会在没有真正担心的情况下通知家长,但我们认为这是正确的起点,我们将继续监控以帮助确保我们处于正确的位置。”

Meta 表示,这些警报现已针对美国、英国、澳大利亚和加拿大使用 Instagram Parental Supervision 的家长生效,并将于今年年底在全球推出。

此更新基于 Meta 已经在青少年反复在 Instagram 上搜索自杀或自残术语时向家长发送的警报。它还建立在一个功能的基础上,允许父母查看他们的孩子在过去一周与 Meta AI 讨论的主题。

Meta 还宣布,其“有限内容”设置(允许父母让青少年在 Instagram 上获得更严格的体验)现在也适用于 Meta AI。 Meta AI 已经接受过训练,可以避免与青少年进行性或浪漫对话或与酒精相关的讨论,而“有限内容”设置通过使聊天机器人拒绝更广泛的提示来扩大这些保护措施。 Meta 没有具体说明这些附加提示包括哪些内容,但 TechCrunch 已要求该公司提供更多信息。

此外,Meta 表示,如果有人与 Meta AI 的对话(无论用户是成年人还是青少年)表明某人有自杀风险,它将联系紧急服务部门。值得注意的是,当有人在 Facebook 或 Instagram 上发布暗示他们面临风险的内容时,Meta 已经采取了这一步骤,因此这将相同的做法扩展到与其聊天机器人的对话中。