HuggingFace Daily Papers(社区热门论文)
51
PreScam:基于早期对话预测诈骗进展的基准测试
AI 摘要
研究团队推出PreScam基准,用于评估语言模型从早期对话预测真实诈骗进展的能力。该基准基于用户报告,将17.8万份原始数据筛选并结构化,构建了涵盖20个类别的1.1万余个对话实例,并依据“诈骗杀伤链”和细粒度行为进行标注。研究设置了实时终止预测和诈骗者行为预测两项任务。结果显示,监督学习模型在终止预测上显著优于零样本大语言模型,而即使强大模型在预测诈骗者下一步行为时也仅获中等成功率,表明当前模型仍难以有效追踪多轮对话中风险的动态升级与操纵展开过程。
该来源未收录可展示正文,站内仅提供摘要。
阅读原文arxiv.org