商业范儿
2024-12-23
12月23日，百川智能发布全链路领域增强大模型Baichuan4-Finance。在高质量金融数据的基础上，通过行业首创的领域自约束训练方案，Baichuan4-Finance实现了金融能力和通用能力同步提升的效果，极大提高了金融场景的整体可用性。其金融专业能力和场景应用能力大幅领先GPT-4o，在中国人民大学财政金融学院新近发布的评测体系FLAME以及国内主流开源金融评测基准FinancelQ上均登上榜首。
整体准确率领先GPT-4o近20%
FLAME（Financial Large-Language Model Assessment and Metrics evaluation）是中国人民大学财政金融学院12月17日发布的金融评测体系（github地址：https://github.com/FLAME-ruc/FLAME/tree/main）。
作为金融领域最新的评测体系，FLAME兼顾专业性和实用性，由两个方向的评测基准组成。其中，FLAME-Cer主要面向模型的专业金融能力评测，覆盖了CPA、CFA、FRM等14类权威金融资格认证；FLAME-Sce则侧重模型的场景应用能力，包含10个一级核心金融业务场景，21个二级细分金融业务场景，近百个三级金融应用任务。
FLAME-Cer评测结果显示，Baichuan4-Finance在银行、保险、基金、证券等多个资格认证领域的准确率均突破了95%，整体准确率93.62%，大幅领先GPT-4o和XuanYuan3-70B-Chat，超出GPT-4o近20%。GPT-4o是金融领域公认的综合实力最强的通用模型之一，而XuanYuan3-70B-Chat则是国内首个开源中文金融大模型。
在FLAME-Sce评测中，Baichuan4-Finance一级核心金融业务场景的整体可用率达84.15%，其金融数据计算、金融知识理论等场景的可用率更是超过90%。
不仅如此，在国内主流开源金融评测基准FinanceIQ上Baichuan4-Finance同样超越了GPT-4o和XuanYuan3-70B，整体准确率达到79.23%，领先GPT-4o近13%。
行业首创领域自约束训练方案
如何让模型在提升专业能力的同时不损失通用能力，是当下大模型落地具体场景最大的阻碍。为解决这一问题，百川智能打造了一套全链路领域增强方案，该方案覆盖了高质量数据集构建、模型预训练、微调、强化学习等从模型研发到场景应用的全流程。
在模型训练阶段，通过行业首创的领域自约束训练技术，百川智能实现了模型专项能力和通用能力同步提升的效果，极大提升了模型多元场景的可用性。而Baichuan4-Finance正是这一方案的最新成果，全链路金融领域增强让其既掌握了扎实的金融理论基础，又具备了丰富的多场景实践应用能力。
具体而言，Baichuan4-Finance的高质量金融数据集全面且严谨，既包含金融专业教材与学术著作、顶级金融期刊论文、监管机构政策文件、金融法律法规等核心专业金融知识数据，也覆盖了金融专业问答集、企业财报与年度报告、金融类研究分析报告等实践应用类数据，为提升模型金融能力提供了良好的底层支撑。
在此基础上，Baichuan4-Finance还在领域自约束训练过程中引入了更高精的通用数据，与高质量金融数据一起进行混合训练，最终实现了模型通用能力不下降，金融能力稳定增长的效果。
此外，百川智能在后训练环节也做了大量增强工作，如：通过合成数据、指令数据对模型进行有监督的微调；在强化学习策略中，针对数学计算等金融领域特别关注的场景进行样本增强等，进一步提升了模型性能。
为了更好地助力金融企业将大模型应用到各种真实场景，百川智能还在官网发布了Baichuan4-Finance全链路领域增强的技术报告，详细阐述了包括“领域自约束训练”在内的各项技术细节。此举不仅将极大增强金融行业对大模型的认知，还将有效提升金融企业部署大模型的能力与意愿。在内测过程中Baichuan4-Finance就已受到了合作伙伴的高度认可。
