智能投顾的大模型应用，为什么选择了“大小模型协同”？

主要观点总结

本文介绍了北银金科高级算法专家尹辰轩对金融行业大模型落地的看法和实施方法。尹辰轩认为，大模型落地投顾领域的最大技术挑战在于如何在高合规门槛的投顾业务中避免幻觉和误答。他提出采用“大小模型协同”的架构思路来解决这一问题，并在性能、准确性与合规之间寻找更优平衡。尹辰轩还介绍了大小模型协同的具体优势，如限制大模型职责范围、提高性价比、降低幻觉和误答概率等，并透露了更多细节将在AICon人工智能开发与应用大会上进行分享。此外，他还谈到了大模型在金融场景中容易产生幻觉、跑偏回答的问题及解决方案，以及小模型引擎的“可扩展性”优势。最后，尹辰轩分享了这套方案在实际业务中的尝试落地情况，并展望了未来金融行业的AI应用架构走向。

关键观点总结

关键观点1: 大模型落地投顾领域的最大技术挑战

尹辰轩认为，如何在高合规门槛的投顾业务中避免幻觉和误答是大模型落地的最大技术挑战。

关键观点2: 大小模型协同的优势

大小模型协同可以限制大模型的职责范围，提高性价比，降低幻觉和误答的概率，并在回答深度与算力消耗之间实现更优平衡。

关键观点3: 大模型在金融场景中产生幻觉、跑偏回答的问题及解决方案

尹辰轩提到，通过流程编排、任务分配、模型映射、场景分类、知识库约束等手段来解决大模型在金融场景中产生幻觉、跑偏回答的问题。

关键观点4: 小模型引擎的“可扩展性”优势

尹辰轩认为，小模型引擎具有可扩展性，可以支持投顾以外的金融细分领域，如保险、财富管理等领域。

关键观点5: 方案的实施与反馈

尹辰轩提到这套方案已经在公司内部和部分母行落地，并且在实际应用中取得了良好的反馈。

关键观点6: 对未来金融行业的AI应用架构的展望

尹辰轩认为，未来的金融行业的AI应用架构将趋向于LLM+API的形式，Agent在整个AI架构的商业实现上会越来越重要。

免责声明