近日，科大讯飞股份有限公司在技术创新领域再次迈出重要一步，一项名为“大模型评估方法、装置、设备、系统及程序产品”的全新专利被正式公布。这一专利的公布，标志着科大讯飞在大模型评估技术上取得了新的突破。
据悉，该专利的核心在于提出了一种多维度的大模型评估方法。该方法首先通过目标大模型进行问答，获取对话数据。随后，利用问答对话之间的逻辑关系，系统能够自动抽取对话指令，并对这些指令进行打分，得到第一得分。同时，系统还会提取问答对话中的答案信息，并与前序答案信息进行对比，以评估答案的一致性和连贯性，从而得到第二得分。该方法还引入了答案信息的回复质量评价，进一步得到第三得分。
最终，这三个得分将被综合起来，形成一个目标得分，用于全面评估目标大模型的性能。这一评估过程不仅实现了自动化，还针对多轮次对话的特点进行了多维度的指标配置，从而能够更准确地反映大模型的实际表现。相较于传统的人工评估方式，这一方法能够大幅降低人工参与度，减少因个人主观判断带来的偏差，提高评估的准确性和客观性。
科大讯飞作为人工智能领域的领军企业，一直致力于推动技术创新和应用落地。此次公布的专利，不仅展现了科大讯飞在大模型评估技术上的深厚积累，也为其在未来的人工智能竞争中增添了新的筹码。随着技术的不断发展和完善，相信科大讯飞将继续在人工智能领域发挥引领作用，为行业带来更多创新和突破。
