LLM 应用

近两年来，LLM（Large Language Model，大语言模型）以其惊人的语言生成与理解能力，正引领着一场技术革命，许多企业纷纷将 LLM 应用到自己的业务中。LLM 通常涉及复杂的自然语言处理任务，但模型的运行缺像是在黑盒中进行一般，很难被外部理解和验证，企业很难对 LLM 应用进行有效的监控和优化。

对于 LLM 而言，可观测性代表从外部理解模型做出特定决策的过程。通过 Prompt 输入输出交互信息、Token 消耗、模型响应时间、异常错误、Agent workflow 和用户反馈等信息，完成对模型内部工作机制的深度洞察。

LLM 可观测性不仅能够提高模型的透明度，还能够及时发现并纠正潜在的问题，确保模型的安全及准确性，减少错误，提高用户信任，从而推动人工智能技术走上安全且可持续发展的道路。

LLM 应用列表

LLM 应用列表页，展示所有创建的 LLM 应用信息，包括应用名称、平均延时、用户数、Session 数量、Traces 数量、Token 使用总量。拥有权限的成员，可以对应用进行编辑、删除的操作。

概览

点击「应用列表」中某个应用，默认进入该应用的「概览」页面。

上方 4 个图表，分别展示当前应用的 Session 数、Trace 数、Trace 平均响应时间、Token 使用量的变化趋势图。

下方 2 个表格是 Trace 维度的性能数据，分别是平均响应时间 Top 10 的 Trace 和 Token 使用总量 Top 10 的 Trace。点击表格中某条 Trace ，即可打开新的页面定位到该「Trace 详情」页。

会话分析

Sessions

Sessions 列表

上方搜索框可以通过 Session ID 快速查找对应 Session 数据。

下方数据列表，默认展示所选中时间段内，每条 Session 的最近访问时间、初次开始时间、持续时长、平均响应时间、Traces 数量、Token 使用总量。数据列表默认按照最近访问时间倒排。

Session 详情

点击 Sessions 列表中某条数据，右侧弹出抽屉页展示 Session 详情数据。

上方展示当前 Session 的相关信息，比如开始时间、持续时间、 Session ID 、Traces 数量、Token 使用情况等。

下方切换不同 Tab 展示不同详细信息：

• Traces：展示当前 Session 所包含的 Traces 数据信息，包括每条 Trace 的开始时间、类型、响应时间、Token 输入量、Token 返回量、Token 使用总量、输入内容、返回内容。
• 属性：查看当前 Session 采集到的关联字段信息。

Traces

Traces 列表

上方搜索框可以通过 Trace ID 快速查找对应 Trace 数据。

下方数据列表，默认展示所选中时间段内，每条 Trace 的开始时间、类型、响应时间、Token 输入量、Token 返回量、Token 使用总量、 Input、Output 内容。数据列表默认按照时间倒排。

Trace 详情

点击 Traces 列表中某条数据，右侧弹出抽屉页展示 Trace 详情数据。

上方展示当前 Trace 的相关信息，比如开始时间、响应时间、 Trace ID 、类型、Token 输入量、Token 返回量、Token 使用总量、Session 来源等信息。

下方切换不同 Tab 展示不同详细信息：

• 事件内容：左侧展示当前 Trace 所包含的 Input、Output 内容，以及源数据；右侧树状图展示当前 Trace 所包含不同观察项及其响应时间和 Token 使用情况。
• 瀑布图：展示当前 Trace 所包含的不同观察项执行分布情况。
• 属性：查看当前 Trace 采集到的关联字段信息。