财报助手答得很肯定,财务却找不到数字出处
项目原名:Financial report RAG 项目与FinanceBench小样评测
真正要用答案时,往往还得重新查一遍报告。
项目解决的业务问题:生成式问答容易给出无依据答案,财务需要找到对应报告内容。
项目采取的做法:开源 RAG 项目解析 PDF、分块检索并可重排,结合 FinanceBench 小样评估回答。
对财务工作的意义:财报问答不仅要给数字,还要能指回年报原文;小样本评测可帮助发现问题,但不能代替上线验证。
这项研究或工具想解决什么
RAG 原型展示检索与回答的组合。判断价值时,应检查每个数是否有原文支撑,以及检索漏掉了什么。
测试用了什么资料,怎样安排
这里介绍的是研究或开源实现,测试结果只适用于其数据集和实验条件。
开源 RAG 项目解析 PDF、分块检索并可重排,结合 FinanceBench 小样评估回答。
整理数据先确认字段含义
财报问答的答案要能回到具体页码、表格和单元格,计算过程也要单独展示。测试时放入跨页、单位变化和相似科目等难题,检查答案引用是否正确、合计能否复算。
年报问答怎样检索原文并算对数字
- PDF解析、分块、向量检索、可选重排、生成及大模型评判。
准备问题、财报材料和核验依据
准备年报 PDF、标注好的财务问题和可核实答案,保留页码、表格或段落位置。加入需要跨页找数或做简单计算的问题。
答案和数字要能回到财报原文
回答要同时给出结论、原文页码或表格位置及计算过程;找不到依据时应明确说没有找到,不能用相似段落补答案。
案例公开的业务数据
这些分数来自测试或实验,不能代表企业上线后的效率变化。
实验数据反映测试条件下的表现。测试样本、标签和指标口径,会影响结果,不能直接换算成上线后的财务效果。
小样本且LLM-as-judge;非独立审计验证;README注明云部署文件限制。
| 指标 | 数值 | 数据类型 | 说明 |
|---|---|---|---|
| judge accuracy | 60 % | 实验评测 | 20-question subset across four FY2022 10-Ks; judge score 3.00/5 仓库自评 |
用标准答案核对检索、引用和计算
按已有答案集测试检索和计算。覆盖跨页引用、单位变化、相似科目和多年度比较,分别检查答案正确、引用正确和复算结果。
- 记录每题的原文位置和预期答案。
- 把检索遗漏、计算错误和引用错位分开统计。
口径、答案和研究结果由谁确认
- 小样本且大模型-as-judge;非独立审计验证;README注明云部署文件限制。
继续核对这些问题
“judge accuracy”具体指什么?
评测结果中的judge accuracy为60%(测试范围:20-question subset across four FY2022 10-Ks; judge score 3.00/5)。这个结果只适用于对应样本和测试条件。数据出自仓库自评。
继续看资料与数据整理的其他做法
查一笔采购,先找发票,再翻凭证,最后对银行记录
业务卡点:票据识别、凭证编制和资金对账分开处理,财务反复搬运数据,差错也难追查。
你可以先核对:顺着一笔交易看发票、凭证和资金记录怎样连起来,后续查账更容易找到依据。
打开详情,看做法和适用范围 →预测还没开始,财务已经花时间拼数据
业务卡点:不同团队更新频率与信号不一致,财务分析时间被数据拼接占用。
你可以先核对:先看预测依赖哪些数据口径,再判断企业的数据准备是否到位。
打开详情,看做法和适用范围 →业务数据滞后,财务分析怎么拿到统一信息?
业务卡点:业财系统协同不足,管理决策难及时获得可靠、口径一致的数据。
你可以先核对:先把业财数据口径和平台基础理顺,再评估问答应用能否用上这些数据。
打开详情,看做法和适用范围 →这项工作还会影响哪些环节
如果项目走到这里还要交接资料或核对结果,可以顺着相关业务继续看。
同一份票据,整理后才能核账
邮件、扫描件和系统里的发票信息先归成统一字段,后续才能查验和入账。
辅助步骤参考;不代表某个案例已部署相同功能。
AI 可读出票号、金额、税额和明细,统一格式并提示重复项,财务再核对票面和业务。
继续看这个业务环节 →合同条款要能查到原文
付款审核要把合同、订单、验收和申请对应到同一笔采购。
辅助步骤参考;不代表某个案例已部署相同功能。
AI 可标出付款比例、日期和验收要求的原文位置,再列出缺件或前后不一致的条款。
继续看这个业务环节 →流水和回单整理成交易记录
流水里的金额要能和回单及业务记录对应,之后才方便认领和查账。
辅助步骤参考;不代表某个案例已部署相同功能。
AI 可统一日期、方向和摘要格式,并按交易编号推荐对应回单,保留原件位置。
继续看这个业务环节 →