速六AI赋能财务速六财易
开源与研究 · 资料与数据整理

中文财报助手会不会编答案,怎么测出来?

项目原名:CFQA 中国年报财务问答基准

中文财报助手会不会把推断写成披露事实?只有问答展示,很难发现它什么时候开始编答案。

先看这三件事,判断它是否对题

项目解决的业务问题:年报问答需要准确区分披露事实与生成内容,通用演示难覆盖专业任务。

项目采取的做法:CFQA 给出中文年报问答的评测做法;现有材料无法确认数据集规模和完整指标。

对财务工作的意义:财务事实测试可帮助查答案是否有依据;未核实的样本数和成绩不能当作可靠性证据。

回到资料与数据整理,接着找相似工作 →
第 01 步

这项研究或工具想解决什么

CFQA 提供中文财报测试思路。当前资料中未核实的规模和成绩应保留为待核实项,不能用来证明系统可靠。

第 02 步

测试用了什么资料,怎样安排

CFQA 给出中文年报问答的评测做法;现有材料无法确认数据集规模和完整指标。

CFQA 提供中文年报问答评测思路;当前资料未核实完整数据规模与指标。

第 03 步借鉴分析

整理数据先确认字段含义

财报问答的答案要能回到具体页码、表格和单元格,计算过程也要单独展示。测试时放入跨页、单位变化和相似科目等难题,检查答案引用是否正确、合计能否复算。

第 04 步

中文年报问答基准主要测什么

  1. 发布基准论文。
  2. 具体数据规模和指标待打开论文核实。
第 05 步

准备问题、财报材料和核验依据

准备基准论文及其中文年报问题、答案、证据和评测方式;先核实数据规模、版本及使用许可。

第 06 步

答案和数字要能回到财报原文

整理问答、标准答案、对应财报位置和评分结果,区分事实问答、数值计算和幻觉识别任务。

第 07 步

案例公开的业务数据

这些分数来自测试或实验,不能代表企业上线后的效率变化。

实验数据反映测试条件下的表现。测试样本、标签和指标口径,会影响结果,不能直接换算成上线后的财务效果。

指标数值数据类型说明
average answer accuracy7.53 to 8.07 %实验评测7.53% RAG vs no-retrieval baseline reported on LREC proceedings page 论文页面摘要
第 08 步试点建议

用标准答案核对检索、引用和计算

按论文给出的测试方式复现结果,再增加财务人员编写的实际问题。单独统计答案准确、引用支持及不确定时的处理。

  • 把基准论文的样本范围与企业日常问题分开。
  • 提升幅度小不能掩盖绝对正确率仍低的情况。
第 09 步

口径、答案和研究结果由谁确认

  • 增幅仅0.54个百分点,绝对准确率仍低;摘要页面未说明数据量和分项置信区间。

继续核对这些问题

“average answer accuracy”具体指什么?

评测结果中的average answer accuracy为7.53 to 8.07%(测试范围:RAG vs no-retrieval baseline reported on LREC proceedings page)。这个结果只适用于对应样本和测试条件。数据出自论文页面摘要。

继续看资料与数据整理的其他做法

回到资料与数据整理业务路线 →

这项工作还会影响哪些环节

如果项目走到这里还要交接资料或核对结果,可以顺着相关业务继续看。

流程衔接参考 · 接到进项发票

同一份票据,整理后才能核账

邮件、扫描件和系统里的发票信息先归成统一字段,后续才能查验和入账。

辅助步骤参考;不代表某个案例已部署相同功能。

AI 可读出票号、金额、税额和明细,统一格式并提示重复项,财务再核对票面和业务。

继续看这个业务环节 →
流程衔接参考 · 接到合同与付款审批

合同条款要能查到原文

付款审核要把合同、订单、验收和申请对应到同一笔采购。

辅助步骤参考;不代表某个案例已部署相同功能。

AI 可标出付款比例、日期和验收要求的原文位置,再列出缺件或前后不一致的条款。

继续看这个业务环节 →
流程衔接参考 · 接到银行与电子回单

流水和回单整理成交易记录

流水里的金额要能和回单及业务记录对应,之后才方便认领和查账。

辅助步骤参考;不代表某个案例已部署相同功能。

AI 可统一日期、方向和摘要格式,并按交易编号推荐对应回单,保留原件位置。

继续看这个业务环节 →