合同审查测评|18个AI、2个法学生、1个律师

主要观点总结

文章主要介绍了关于合同审核的能力测评认证体系的测试和实施情况，包括测试的背景、目的、参与的产品和人员，以及测试结果的分析和对比。文章还强调了本次测评的目的和结果对于现实情况的反映程度将随时间推移而滑落。

关键观点总结

关键观点1: 合同审核能力测评体系的目的和测试范围

该测评旨在评估AI工具和人类对于合同审核能力的表现，特别是风险识别和提示能力。测试使用了买卖合同，并预设了风险点和交易背景。

关键观点2: 参与测试的产品和人员分类

测试包括法律科技组（专门的法律科技合同审查产品）和通用组（通用的大模型或智能体）。同时，也有不同经验层次的人类参与者，包括在校法学生、应届毕业生和执业律师。

关键观点3: 测试结果和分析

在风险识别方面，GPT-5的表现最为出色，已经堪比甚至超过执业律师。案牍玛卡合同和豆包也表现出色。但文章也指出测试结果可能受到偶发性因素的影响，如提示词适配度等。

关键观点4: 测评结果的重要性和局限性

文章强调测评结果的重要性，并指出测评只是当下时间节点的各家AI工具测评结果，随时间推移将可能影响结果的现实性。此外，测评结果主要基于风险识别能力，并不涵盖其他因素如易用性、价格等。