AI重塑教育系列1 — AI智能批改（下）
上篇我们提到AI在批改中的应用，to G更多看资源和政策，能否吃到一波红利，to C应用上其价值感有待进一步挖掘，难以形成用户的核心卖点；内部提效，是当前比较好的一个选择，今天我们具体聊聊内部提效系统的设计。 一、业务流程 虽说是针对批改环节的设计，但因作答系统输入的不同，对批改端的能力及接口方式也有很大的差异。 从完整流程上来看，总体分为四个环节：题库系统、组卷系统、作答系统、批改系统 在实际的业务场景中，由于各种原因会导致线上化程度不同。根据作答系统提交的数据形式，可以分为以下几种情况。 情况1：线上化作答，提供到批改系统的为结构化数据，含提干及作答内容。 情况2：部分线上化，提干线上化展示，作答内容以图片等非结构化形式提交 情况3：全线下形式，提干及作答内容均以图片等非结构化形式提交 针对以上3种不同的情况，在批改系统中需要建设的能力也会有一定差异 二、批改系统设计 2.1 批改系统任务流 从上述图中，我们可以把批改分为以下环节：创建任务ID、任务拆解、题目拆解（拆解出题目ID、题目内容、作答内容）、批改规则、批改结果、合并批改结果、人工校准发布 针对第一部分提到的不同提交数据形式，核心影响到的是任务拆解和题目拆解的不同 情况1无需系统处理，情况2和3都需要系统做不同程度处理 2.2 题目拆解 若作答系统提交的信息为非结构内容 那就需要借助OCR或者ASR的能力，将提交的内容进行结构化拆解 如上图，需要识别拆分出题目序号、作答内容、结果等 这个环节对后续批改精度有很重要的作用，主要会存在以下问题： 手写内容识别不准 拍照清晰度不够 视频或者音频中存在一些干扰声音等 识别内容文本化时，难以拆解到题目ID、作答内容等 针对以上问题，需要做的应对是 作答系统尽量保证提交内容的完整、清晰 对比市面上不同的OCR、ASR能力，做一定的数据探查 可能需要进行一定数量级的标注，来进行模型训练以提升准确率 2.3 批改 这个环节是AI发挥作用的重要节点 传统的批改工具会根据客观题答案比对 或者是通过部分的工程规则，来对主观题的部分维度进行批改 存在的核心问题： 比较难做到分步骤打分 主观题的评价方式及体系相对比较单一 如果需要进行调优，需要进行比较多的工程规则调整 如果采用AI模型 只需在chatgpt4.0或者其他比较成熟的开源模型上略微调优 基本就能实现智能化批改 而批改的准确性或者丰富性 完全可以通过promote即可 极大程度提升了优化迭代效率 例如下图prompt可被用于作文批改 2.4 调优迭代 为了实现业务流程的真正优化，关键在于提升批改作业的准确性和直接可用性。 如果AI批改的结果需要教师花费大量时间进行校对和调整，那么这样的效率提升就失去了意义。 因此，我们的目标是将AI模型训练至至少80%的准确率，以确保其在实际应用中的价值。 要达到80%以上的准确率，我们需要关注两个核心环节： 题目拆解：这一步骤要求我们将复杂的提交内容分解成更小、更易于处理的部分，以便AI能够更精确地理解和评估每个部分。 批改优化：在这一环节，我们对AI批改的结果与人工比对，针对bad case进行模型或者prompt调优 2.5 体现人工感 在批改服务的最后阶段， 至关重要的一点是将批改结果以一种直观且具有手工感的方式呈现在作答系统中。 我们必须认识到，从家长的角度来看，他们期待的是教师对孩子的作业投入真正的关注和心思， 精准地发现孩子在学习过程中的薄弱环节，并据此提供帮助，以促进孩子的成长和进步。 因此，批改结果的呈现方式不应过于机械化或系统化， 以免削弱家长对课程价值的认可和信任。 我们需要通过精心设计的用户界面和反馈机制，让家长感受到教师的用心和专业，从而增强他们对课程的满意度和忠诚度。 如下图，右图更能表现出人工批改效果。 通过这种方式，我们不仅能够提升家长的体验，还能够确保教育服务的质量和效果，让家长确信他们的选择是正确的，并且他们的投资是值得的。 三、总结 许多人可能会认为，AI批改与传统批改在表面上看起来并没有太大的差异。 然而，我们必须深刻理解，新技术的发展并非一蹴而就，而是一个渐进替代的过程。 从提交作业、识别内容、批改作业到提供反馈，当前技术可能只能优化部分环节，但随着技术的不断进步，整个流程有望得到完善。 事实上，目前一些前沿技术已经在探索端到端的解决方案。 AI技术可以直接读取图像并提供批改结果，无需中间的文本转换步骤。 但无论技术发展到何种程度，作为产品的核心能力始终不变——那就是对业务的深刻理解和精准把握。 这种对业务的深刻洞察，是我们在技术浪潮中保持竞争力的关键。 它确保我们能够准确识别用户需求，优化产品功能，从而在教育领域中提供更加高效、个性化的服务。 作者：key-小五 公众号：每天都在找钥匙 本文由 @ key-小五原创发布于人人都是产品经理。未经作者许可，禁止转载 题图来自Unsplash，基于CC0协议 该文观点仅代表作者本人，人人都是产品经理平台仅提供信息存储空间服务
上篇我们提到AI在批改中的应用，to G更多看资源和政策，能否吃到一波红利，to C应用上其价值感有待进一步挖掘，难以形成用户的核心卖点；内部提效，是当前比较好的一个选择，今天我们具体聊聊内部提效系统的设计。
一、业务流程
虽说是针对批改环节的设计，但因作答系统输入的不同，对批改端的能力及接口方式也有很大的差异。
从完整流程上来看，总体分为四个环节：题库系统、组卷系统、作答系统、批改系统
在实际的业务场景中，由于各种原因会导致线上化程度不同。根据作答系统提交的数据形式，可以分为以下几种情况。
- 情况1：线上化作答，提供到批改系统的为结构化数据，含提干及作答内容。
- 情况2：部分线上化，提干线上化展示，作答内容以图片等非结构化形式提交
- 情况3：全线下形式，提干及作答内容均以图片等非结构化形式提交
针对以上3种不同的情况，在批改系统中需要建设的能力也会有一定差异
二、批改系统设计
2.1 批改系统任务流
从上述图中，我们可以把批改分为以下环节：创建任务ID、任务拆解、题目拆解（拆解出题目ID、题目内容、作答内容）、批改规则、批改结果、合并批改结果、人工校准发布
针对第一部分提到的不同提交数据形式，核心影响到的是任务拆解和题目拆解的不同
情况1无需系统处理，情况2和3都需要系统做不同程度处理
2.2 题目拆解
若作答系统提交的信息为非结构内容
那就需要借助OCR或者ASR的能力，将提交的内容进行结构化拆解
如上图，需要识别拆分出题目序号、作答内容、结果等
这个环节对后续批改精度有很重要的作用，主要会存在以下问题：
- 手写内容识别不准
- 拍照清晰度不够
- 视频或者音频中存在一些干扰声音等
- 识别内容文本化时，难以拆解到题目ID、作答内容等
针对以上问题，需要做的应对是
- 作答系统尽量保证提交内容的完整、清晰
- 对比市面上不同的OCR、ASR能力，做一定的数据探查
- 可能需要进行一定数量级的标注，来进行模型训练以提升准确率
2.3 批改
这个环节是AI发挥作用的重要节点
传统的批改工具会根据客观题答案比对
或者是通过部分的工程规则，来对主观题的部分维度进行批改
存在的核心问题：
- 比较难做到分步骤打分
- 主观题的评价方式及体系相对比较单一
- 如果需要进行调优，需要进行比较多的工程规则调整
如果采用AI模型
只需在chatgpt4.0或者其他比较成熟的开源模型上略微调优
基本就能实现智能化批改
而批改的准确性或者丰富性
完全可以通过promote即可
极大程度提升了优化迭代效率
例如下图prompt可被用于作文批改
2.4 调优迭代
为了实现业务流程的真正优化，关键在于提升批改作业的准确性和直接可用性。
如果AI批改的结果需要教师花费大量时间进行校对和调整，那么这样的效率提升就失去了意义。
因此，我们的目标是将AI模型训练至至少80%的准确率，以确保其在实际应用中的价值。
要达到80%以上的准确率，我们需要关注两个核心环节：
- 题目拆解：这一步骤要求我们将复杂的提交内容分解成更小、更易于处理的部分，以便AI能够更精确地理解和评估每个部分。
- 批改优化：在这一环节，我们对AI批改的结果与人工比对，针对bad case进行模型或者prompt调优
2.5 体现人工感
在批改服务的最后阶段，
至关重要的一点是将批改结果以一种直观且具有手工感的方式呈现在作答系统中。
我们必须认识到，从家长的角度来看，他们期待的是教师对孩子的作业投入真正的关注和心思，
精准地发现孩子在学习过程中的薄弱环节，并据此提供帮助，以促进孩子的成长和进步。
因此，批改结果的呈现方式不应过于机械化或系统化，
以免削弱家长对课程价值的认可和信任。
我们需要通过精心设计的用户界面和反馈机制，让家长感受到教师的用心和专业，从而增强他们对课程的满意度和忠诚度。
如下图，右图更能表现出人工批改效果。
通过这种方式，我们不仅能够提升家长的体验，还能够确保教育服务的质量和效果，让家长确信他们的选择是正确的，并且他们的投资是值得的。
三、总结
许多人可能会认为，AI批改与传统批改在表面上看起来并没有太大的差异。
然而，我们必须深刻理解，新技术的发展并非一蹴而就，而是一个渐进替代的过程。
从提交作业、识别内容、批改作业到提供反馈，当前技术可能只能优化部分环节，但随着技术的不断进步，整个流程有望得到完善。
事实上，目前一些前沿技术已经在探索端到端的解决方案。
AI技术可以直接读取图像并提供批改结果，无需中间的文本转换步骤。
但无论技术发展到何种程度，作为产品的核心能力始终不变——那就是对业务的深刻理解和精准把握。
这种对业务的深刻洞察，是我们在技术浪潮中保持竞争力的关键。
它确保我们能够准确识别用户需求，优化产品功能，从而在教育领域中提供更加高效、个性化的服务。
作者：key-小五 公众号：每天都在找钥匙
本文由 @ key-小五原创发布于人人都是产品经理。未经作者许可，禁止转载
题图来自Unsplash，基于CC0协议
该文观点仅代表作者本人，人人都是产品经理平台仅提供信息存储空间服务
你的反应是什么？
