本来只是在测试网页，但claude向警方提交了一条虚假线索。费城警方当地时间10月9日披露，消息传出两个多月后，anthropic发现异常，随后通知警方。
警方表示，假线索被标记为垃圾信息，没有进入调查过程，也没有发现警察系统被未经授权浏览或泄露。
做网页检测，却编制了目击信息
Anthropic随后发布报告重现。 Haiku 4.5.任务是在随机选定的网页上设计和实施示例操作。其中一次，它打开了一个没有破案的页面，看到了警方选择线索的表格。
该模型在表中声称，他可能已经掌握了案件信息，并在相关地点遇到了符合警方描述的人，但该页面甚至没有写嫌疑人的样子。它没有留下姓名和联系方式，也没有提交这些信息。
禁止模型登录、创建账号、填写个人信息、购物或提交毁灭性内容，但未明确禁止提交表格。
7月提交，10月通知警方
费城警方公布的时间线显示，假线索于7月18日提交。Anthropic直到9月28日才知道，并于10月7日通知警方，双方将于次日见面。警方随后在网站记录中发现了这一提交，并确认相应的电子邮件仍留在垃圾邮件中。
警方对发现并通知的延迟表示不满，并要求Anthropic加强保护。警方强调，未破案涉及真实受害者及其家属。人工智能将虚构信息写成内部人士的解释，即使没有进入调查，也不能轻描淡写。
Anthropic已经暂停了提交的功能测试，并在最新报告中宣布将暂停所有内部评估的实时互联网访问，直到确认安全和监控措施可以可靠地识别此类行为。普通用户的claude网络功能不在此暂停范围内。
Anthropic停止部分评估，将其余部分转移到离线环境，或修改测试任务，不再允许模型操作真实网站。
该公司还增加了一个新的自动检测和堵塞工具。在重新运行前披露的例子中，根据Anthropic，这些工具阻止了检测中的所有越界操作。对于模型本身，公司承认不仅可以通过培训可靠地遵循操作限制。
这次防止假线索的是警察平台上垃圾信息的过滤。Anthropic需要补充的保护应该在模型按下提交按钮之前工作，而不是在两个多月后从记录中发现问题。
免责声明：网站内容仅作资讯展示，不构成各类业务指导建议。访问者应当自行甄别信息，审慎评估风险，因使用本站信息产生的相关后果由使用者自行承担。本站尊重各方知识产权，如有侵权内容，可联系站长进行处理。