本次版本更新聚焦于「LLM 可观测」模块，以下若无特殊说明，均为「LLM 可观测」相关功能。
Lighthouse 的「LLM 可观测」模块，正式推出「自动评估」、「数据集与实验」、「Prompt 调试」三大功能。
Lighthouse 的 LLM 可观测模块的自动评估功能，是基于评估器（Evaluator）实现的。通过评估器，可以配置评估的目标数据、评估模型、评估维度，按照设定的规则，对目标数据进行自动给出合适的评分值。有效解决了人工评估效率低、准确性不足的问题。帮助企业在开发和优化 LLM 应用过程中精准定位需求，快速调整策略，从而加速产品迭代，确保应用的性能和功能符合业务目标。
目前，Lighthouse 支持对应用的 Trace 数据、数据集进行自动评估。同时，系统内置了多种常用的评估维度模板，提高用户上手速度。
「数据集」指的是一组用于评估大模型在特定任务上的输出表现，这些数据集通常包含一系列的输入内容（Input）和输出参考答案(Reference Output)。其作用是帮助开发者评估 LLM 应用，是否达到预期效果。
基于数据集，便可以进行「实验」。实验是指，通过组合数据集、Prompt、模型设置、评估器（可选），实现在给定的 Prompt 下，对模型输入范例的 Input 内容，得到模型返回的 Output 内容。若配置了评估器，还会对每条数据进行评估，并给出评分值。通过分析实验结果，可以找到优化 LLM 应用效果的方向，获得有助于业务决策的信息。
在开发 LLM 应用的过程中，高质量的提示词（Prompt）是至关重要的一环。Prompt 内容和模型的合理搭配，可以最大限度地激发模型的潜能，满足多样化、个性化的应用场景。
Lighthouse 的「Prompt 调试」功能，可以让您无需切换工具或编写代码，便可轻松调试和优化您的 Prompt。通过调整 Prompt 内容和模型设置，可以实时查看不同模型对不同 Prompt 变更的响应，从而快速找到优化方向，极大提高工作效率。