数据集
在 Lighthouse 平台的 LLM 可观测模块，「数据集」指的是一组用于评估大模型在特定任务上的输出表现，这些数据集通常包含一系列的输入内容（Input）和输出参考答案(Reference Output)。
基于数据集，便可以进行实验。实验是指，通过组合数据集、Prompt、模型设置、评估 器（可选），实现在给定的 Prompt 下，对模型输入范例的 Input 内容，得到模型返回的 Output 内容。若配置了评估器，还会对每条数据进行评估，并给出评分值。
通过分析实验结果，可以找到优化 LLM 应用效果的方向，获得有助于业务决策的信息。
快速开始
准备工作： 开始实验前，需要提前准备的有：可选用的 Prompt 、模型 API、数据集范例、目标数据为数据集的评估器（可选）。
步骤 1️⃣ ： 进入「数据集列表」页，单击右上角「+ 新建数据集」，填写数据集名称即可完成创建。
步骤 2️⃣ ： 单击刚刚创建的数据集，默认进入该数据集的「范例列表」页。有三种方式可以添加范例，可选择您合适的方式添加范例。
步骤 3️⃣ ： 进入该数据集的「范例列表」页，单击「+ 新建实验」后，按提示填写必要信息，即可完成创建。
成功创建后，等待实验状态为“已完成”，则说明实验执行完毕。便可进入该实验详情页查看数据结果。
数据集列表
进入「数据集」模块，默认展示数据集的列表页。
⬆️ 上方搜索框，可以通过数据集名称快速筛选出目标数据。
⬇️ 下方数据列表，默认展示数据集的名称、描述、实验数、范例数、创建时间。拥有权限的成 员，可以对其进行删除的操作。
↗️ 单击右上角「+ 新建数据集」，填写数据集名称即可完成创建。
目前，数据集名称暂不可重复。
范例
范例列表
在「数据集列表页」单击某个数据集名称，即可进入对应详情页。默认展示该数据集的范例列表。
范例，主要包括 Input、Reference Output、Metadata 三项内容。
- Input：输入内容，即模型需要处理的输入内容。
- Reference Output：输出参考答案，评估模型实际输出内容是，可作为参考标准（可选填）。
- Metadata：元数据（可选填）。
范例详情
行点击「范例列表」中的某条数据，即可查看对应详情页。
新建范例
目前，支持三种方式新建范例：
方式 1️⃣：手动添加
单击「+ 新增范例」按钮，填写必要信息即可完成创建。在当前数据集内新建范例时，会默认添加到当前数据集下，也可以同时添加到其他数据集。
方式 2️⃣：本地上传
当您需要批量上传范例时，单击「+ 批量导入范例」下载模板，按照模板格式填写范例内容后上传即可。
方式 3️⃣：从应用数据添加
在 LLM 应用的 Traces 或 Spans 详情页，单击右上角「作为范例添加到数据集」按钮，选择目标数据集并二次编辑内容，确定后即可从应用数据添加成功。
- 此方式适用于，当前数据的 Input 和 Output 内容达到了您的预期。 此时，Traces 或 Spans 的 Input 内容，会自动填充为范例的 Input 内容；Output 内容，会自动填充为范例的 Reference Output。
- 这种方式添加的范例，在范例列表的第一列会展示来源图标，点击即可查看来源 Traces 或 Spans 的详情页。
实验
当拥有一定数量的范例后，便可以创建实验。基于数据集，便可以进行实验。实验是指，通过组合数据集、Prompt、模型设置、评估器（可选），实现在给定的 Prompt 下，对模型输入范例的 Input 内容，得到模型返回的 Output 内容。若配置了评估器，还会对每条数据进行评估，并给出评分值。
通过分析实验结果，可以找到优化 LLM 应用效果的方向，获得有助于业务决策的信息。
实验列表
进入「数据集 - 实验」页面，默认展示当前数据集下的实验列表。
⬆️ 上方搜索框，可以通过实验名称快速筛选出目标数据。
⬇️ 下方数据列表，展示实验的状态、名称、描述、数据量、Prompt 、所选模型、评估结果、创建时间。拥有权限的成员，可以对其进行删除的操作。
鼠标悬浮在某行数据时。下方数据列会出现功能按钮：
- Prompt列：可以查看 Prompt 详情。
- 评估结果列：针对每一个评估结果，可以查看评估器详情和评估维度详情。
新建实验
↗️ 单击「+ 新建实验」后，按提示填写必要信息，即可完成创建。涉及到的信息说明如下：
- 实验名称：不可重复。
- Prompt：选择一个当前「Prompt 管理」模块已有的 Prompt 及版本。
- 模型设置：可选用的模型，来源于「模型 API」模块。若没有合适的，连接器下拉框底部可以直接「+ 新建连接器」，创建成功后即可选用。
- 数据集：默认选择当前数据集，也可以选择其他数据集。
- 评估器（可选填）：选择已有的评估器进行评估。若没有合适的，下拉框底部可以直接「+ 新建评估器」，创建成功后即可选用。
- 描述（可选填）：补充说明当前实验 的信息。
当 Prompt 和数据集都不为空时，会验证所选数据集的范例的 Input 内容，是否符合所选 Prompt 引用的可用变量。
- 若没有一个范例符合要求，则该实验无法成功创建。
- 若有部分范例符合要求，则会提示符合的范例数量。实验可以成功创建，但不符合要求的范例，在实验过程中会报错。
实验详情
在「实验列表」页面，单击某个实验名称，即可进入对应详情页。
数据列表，展示当前实验数据的执行信息。包括每条数据的状态、 ID 、Input 、Output 、Reference Output 、Metadata 和评估维度的评分值。
这里的 ID 含义是：从生成这条数据到评估完成（若配置了评估器）这一整条实验数据的 ID。
行点击，可以查看该条实验数据的详情页。
实验对比
在「实验列表」页面，批量选择多个实验后，可以进行「实验对比」。
数据明细
实验对比 的「数据明细」页面，展示当前所选实验的输出内容及评估结果对比。
数据列表中的范例 ID 、Input 、Reference Output内容，来源于所选择的基准实验。
点击行数据里面的“范例 ID”，即可弹出详情页，查看该范例 ID下所有实验的输出内容及评估结果。
评估分析
实验对比的「评估分析」页面，展示当前所选实验的评估结果对比。