阅读(152) 书签 (0)

文心千帆查看与管理大模型调优运行

2023-07-19 16:16 更新

大模型调优任务界面,可以查看任务的详情、新建运行任务和删除整个任务(包括运行)。在指定任务的详情页面,可以查看所有的模型训练运行任务状态及其他相关内容。

登录到文心千帆大模型操作台,在左侧功能列选择大模型调优,进入大模型调优主任务界面。

详情

大模型调优的详情页,即可查看训练运行的列表。此界面可新建运行

image.png

在运行任务的详情页可查看创建运行时的基本信息、训练配置和数据配置,详情数据的来源为新建运行时填入的内容。

image.png

发布

可以指定某个运行成功的任务,发布为模型。填写好如下参数后,将被模型管理所纳管。

image.png

评估报告

可以查看指定运行中心评估报告,包含评估信息的指标参数和Training Loss的曲线图。

image.png

  • BLEU 指标是NLP中机器翻译/⽂本摘要等任务常⽤的评价指标。它是基于精确率(Precision)来设计的。NLP中有个重要的概念是n-gram,指⼀个语句⾥⾯连续的n个单词组成的⽚段;BLEU-n其实就是基于n-gram的评价指标。
  • rouge-N(1/2/L)-f:百分⽐。ROUGE通过将模型⽣成的摘要或者回答与参考答案(⼀般是⼈⼯⽣成的)进⾏⽐较计算,得到对应的得分。Rouge-N实际上是将模型⽣成的结果和标准结果按N-gram拆分后,计算召回率。
  • Training Loss:训练集每个batch的损失。

训练日志

可以查看运行任务的训练情况,分为概览日志和训练日志两部分,日志内容均支持下载(txt格式)。

  • 概览日志:对模型训练过程中的关键步骤信息进行抽取展示。
  • 训练日志:对模型训练过程中的全量动作以日志的形式展示。

概览日志部分内容如下所示:

image.png

删除

支持删除运行任务,运行任务一旦删除便不可恢复。