会计术语答不准,专业模型怎么评估?
项目原名:Kuaiji 中文会计大模型与CAtAcctQA
会计术语回答得像专业意见,计算和特殊业务却可能出错。训练语料多,不等于每个回答都可靠。
项目解决的业务问题:通用模型对会计长尾知识和计算题适应不足,专业回答需验证。
项目采取的做法:Kuaiji 用会计语料和问答数据训练模型,提供专业问答和多轮演示。
对财务工作的意义:先看训练数据和评测题是否覆盖本企业账务,再判断专业模型能否用于财务问答。
这项研究或工具想解决什么
Kuaiji 发布了会计领域模型和问答资源。评估前先确认训练与测试是否覆盖本企业常见的账务问题,再看回答能否指向专业依据。
测试用了什么资料,怎样安排
Kuaiji 用会计语料和问答数据训练模型,提供专业问答和多轮演示。
Kuaiji 用会计语料和问答数据训练模型,并提供专业问答资源与多轮演示。
专业模型要用真实财务问题检验
专业问答不能只看语言是否流畅。准备覆盖科目、期间、计量单位和例外处理的问题,核对答案依据与计算过程;含糊或无依据的回答应能被发现并退回人工处理。
先找适用规则,再核对业务材料
- 输入会计/审计/税务问题或上下文。
- CPT使用828MB专业语料,SFT数据35,784条。
- CAtAcctQA为70,000对、来自14个会计部门的问答。
- 使用QLoRA并演示多轮问答。
先准备凭据、政策版本和访问权限
研究资料没有规定企业侧要接入哪些业务字段。内部验证可先用业务单据、财务记录、适用政策和控制规则、访问权限及复核记录。选取少量、经人工核实且可脱敏的样本。
把条款、证据和复核意见留在记录里
研究结果不能直接当成企业审批或入账凭据。内部测试可把输出整理为能回到原件的证据清单、适用政策和需要专业人员处理的疑点,再检查引用、遗漏和人工修订。
案例公开的业务数据
资料披露了项目规模或产品容量,没有给出企业采用后的效率变化。
| 指标 | 数值 | 数据类型 | 说明 |
|---|---|---|---|
| CAtAcctQA | 70,000 QA pairs across 14 departments pairs/departments | 业务规模 | research dataset scale; real accountant-client dialogues as stated by paper 论文 |
| SFT corpus | 35784 entries | 业务规模 | constructed supervised fine-tuning dataset 论文 |
| CPT corpus | 828 MB | 业务规模 | continuous pretraining corpus 论文 |
拿已处理的业务做对照
用覆盖科目、会计术语、计算和长尾业务的题目评测模型,并保留标准答案与计算过程。
- 按任务类型分别统计答错、算错和无依据回答。
- 换一批题目复测,避免结论只适用于公开评测集。
税务和审计判断由谁确认
- 数据合规许可与复用权须核实;真实场景示例不等同于企业部署评估;论文报告的效果需按任务和测试集读取,不可概括成统一准确率。
继续核对这些问题
“CAtAcctQA”具体指什么?
资料给出的CAtAcctQA为70,000 QA pairs across 14 departments pairs/departments(范围:research dataset scale; real accountant-client dialogues as stated by paper)。这是处理量或覆盖范围,不是效率提升。数据出自论文。
“SFT corpus”具体指什么?
资料给出的SFT corpus为35784 entries(范围:constructed supervised fine-tuning dataset)。这是处理量或覆盖范围,不是效率提升。数据出自论文。
继续看税务与治理的其他做法
授信报告最费时间的,常常是把工商、财务和诉讼资料收齐
业务卡点:工商、财务、诉讼和舆情资料需人工搜集,指标解释与报告填制耗时。
你可以先核对:授信材料归集和报告草稿可以由系统辅助,授信结论仍由专业人员把关。
打开详情,看做法和适用范围 →金额没有超过阈值,也不代表分录没有问题
业务卡点:固定规则难识别未知异常模式,审计人员需要从全部分录中排出复核顺序。
你可以先核对:异常分数可用于挑出分录复核对象,不能据此认定舞弊。
打开详情,看做法和适用范围 →函证与合同版式多,审计取数怎么减少抄录?
业务卡点:审计文档格式多样,人工查找并抽取关键信息耗时。
你可以先核对:从采购文件提取审计证据可以减少抄录;抽取内容须回到原文,审计结论仍由审计人员作出。
打开详情,看做法和适用范围 →这项工作还会影响哪些环节
如果项目走到这里还要交接资料或核对结果,可以顺着相关业务继续看。
票据内容支持税务核对
发票上的税率、税额和用途会影响抵扣及申报核验。
辅助步骤参考;不代表某个案例已部署相同功能。
AI 可提取相关字段并标出疑点;真伪、政策适用和抵扣资格仍按权威信息及人员复核确认。
继续看这个业务环节 →销项发票进入纳税申报
开票金额与税额要能对应到收入记录和申报口径。
辅助步骤参考;不代表某个案例已部署相同功能。
AI 可对商品分类、税码和汇总金额提出疑点,财务按适用政策核实。
继续看这个业务环节 →税会差异需要在结账前核实
税务口径和账面记录可能存在时间或项目差异,期末需要查清并留档。
辅助步骤参考;不代表某个案例已部署相同功能。
AI 可定位相关凭证、政策条款并起草差异说明;会计和税务人员确认处理方式。
继续看这个业务环节 →