LLM 应用分析
Lighthouse 成功采集到您的 LLM 应用数据后，即可进入分析模块查看数据。
应用列表
LLM 应用列表页，展示 所有创建的 LLM 应用信息，包括应用名称、平均响应时间、Session 数量、Trace 数量、Token 总量、总消费金额（USD 和 CNY）。拥有权限的成员，可以对应用进行编辑、删除的操作。
⬆️ 上方搜索框，可以通过应用名称快速筛选出目标应用。
概览
点击「应用列表」中某个应用，默认进入该应用的「概览」页面，从性能、Token 、模型三大维度分析当前应用的数据。
若在“模型名称”变量中选择的指定模型，那么“模型分析”模块，就只展示所选模型的数据。
拓扑
拓扑模块为 LLM 应用提供了一个全面且直观的调用关系、性能状况全景图。通过展示所有 Span 节点之间的调用关系及聚合后的性能指标，能够快速洞察 LLM 应用的整体运行状况、聚焦问题节点，精准定位问题，从而实现高效优化与管理。
- 每个卡片代表一个 Span 节点，并展示该节点的类型与名称。
- 单击节点，可以快速跳转查看对应的 Traces 或 Spans 数据。
- 卡片内下方的彩色矩形，表示该节点在指定填 充指标下的聚合后的具体数值及等级分布。填充指标可以在右上角切换。
会话分析
Sessions
Sessions 列表
⬆️ 上方搜索框可以通过 Session ID 快速查找对应 Session 数据。
⬇️ 下方数据列表，默认展示所选中时间段内，每条 Session 的最近访问时间、初次开始时间、持续时长、平均响应时间、Traces 数量、Token 使用总量。数据列表默认按照最近访问时间倒排。
Session 详情
点击 Sessions 列表中某条数据，右侧弹出抽屉页展示 Session 详情数据。
⬆️ 上方展示当前 Session 的相关信息，比如开始时间、持续时间、 Session ID 、Traces 数量、Token 使用情况等。
⬇️ 下方切换不同 Tab 展示不同详细信息：
- Traces：展示当前 Session 所包含的 Traces 数据信息，包括每条 Trace 的开始时间、类型、响应时间、Token 输入量、Token 返回量、Token 使用总量、输入内容、返回内容。
- 属性：查看当前 Session 采集到的关联字段信息。
Traces
Traces 列表
⬆️ 上方搜索框可以通过 Trace ID 快速查找对应 Trace 数据。
⬅️ 左侧快捷筛选，可以根据类型、名称、使用模型、状态快速筛选出目标数据。
➡️ 右侧数据列表，默认展示所选中时间段内，每条 Trace 的开始时间、类型、名称、响应时间、Token 总量、总消费金额、使用模型、Input / Output 内容。
↗️ 数据列表右上角的功能按钮，分别是：
- 批量选择：单击弹出复选框，可以批量选择多条数据进行操作。
- 自定义列：单击弹出自定义列设置页面，可以对当前数据列表的列内容，进行是否展示、前后顺序的操作。
Trace 详情
点击 Traces 列表中某条数据，右侧弹出抽屉页展示 Trace 详情数据。
⬅️ 左侧树状图，展示当前 Trace 所包含的 Span 的执行逻辑及性能状况。
- 单击树状图中的 Span 节点，即可展示对应 Span 详情。
- 单击「AI 回溯」可以查看详细的执行ß瀑布图。
↗️ 右侧上半部分，展示当前 Trace 的相关信息，比如类型、名称、开始时间、响应时间、 Trace ID 、Token 及消费金额使用情况、Session 来源等信息。
↘️ 右侧下半部分，切换不同 Tab 展示不同详细信息：
- 内容：展示当前 Trace 所包含的 Input、Output 内容。
- 评估详情：展示当前 Trace 的所有评估结果，包括人工评估与自动评估。
- 元数据：查看当前 Trace 采集到的元数据ß。
↗️ 抽屉页右上角功能按钮，分别是：
- 分享链接：单击即可复制当前 Trace 详情页的专属链接，可以粘贴给团队其他人，打开即可定位到当前 Trace 详情页。
- 作为范例添加至数据集：单击即可将当前 Trace 的 Input 和 Output 内容，添加到指定数据集中。
- 人工评估：单击并选择人工评估维度，并对其打分，该评估结果即可同步到当前 Trace 的「评估详情」中。
- 添加至评估队列：单击即可将当前 Trace 添加到指定评估队列中。
Spans
Spans 列表
⬆️ 上方搜索框可以通过 Span ID 快速查找对应 Span 数据。
⬅️ 左侧快捷筛选，可以根据类型、名称、使用模型、状态、Prompt 快速筛选出目标数据。
➡️ 右侧数据列表，默认展示所选中时间段内，每条 Span 的开始时间、类型、名称、响应时间、Token 总量、总消费金额、使用模型、Input / Output 内容。
↗️ 数据列表右上角的功能按钮，分别是：
- 批量选择：单击弹出复选框，可以批量选择多条数据进行操作。
- 自定义列：单击弹出自定义列设置页面，可以对当前数据列表的列内容，进行是否展示、前后顺序的操作。
Span 详情
点击 Spans 列表中某条数据，右侧弹出抽屉页展示该 Span 详情数据。展示内容与 Trace 详情页一致。
关联功能
关联功能模块，展示当前应用所关联的「业务 Prompt」、「人工评估」、「自动评估」功能，帮助用户快速过滤对当前应用的功能使用情况，单击对应名称即可快速跳转至对应功能模块。
常见问题
-
为什么有的 Trace，Token 的输入量与返回量为 0，总量不为0？
（或，为什么 Token 总量，不等于输入量与返回量之和？）如果您的 LLM 应用数据源是来自 Dify，且使用了自建工作流，则可能会出现这种情况。
原因是 Dify 在数据上报时，将 Token 的输入量与返回量上报为 0。非 Lighthouse 平台问题。
目前， Dify 还未修复该问题。 -
为什么 Span 的首 Token 响应时间没有数据？
如果您的 LLM 应用和模型本身不支持，则无数据。