Livy Manager

摘要

Livy Manager 是一个用于管理 Apache Livy 会话的 Web UI。

Livy Manager 解决的问题

• 对于非开发者 Livy 用户来说，很难监控或终止他们的 Livy 会话和 Spark 应用程序。
  • 他们必须使用类似 curl 的 HTTP 客户端工具调用 Livy REST API。
  • 此外，如果 Livy 服务是 Kerberized 的，他们还必须操作安装了 Kerberos 客户端的机器。
  • 在某些使用 Livy 的服务中，当 Spark 应用程序正在运行时，没有方法可以终止 Livy 会话，因此非开发者用户在意外提交了重或长时间运行的应用程序时无法自己停止他们的 Spark 应用程序。

Livy Manager 提供的解决方案

• 非开发者 Livy 用户可以查看和终止他们的 Livy 会话。
• 包含可选的 LDAP 验证和授权功能。
  • 管理员用户可以查看和终止所有 Livy 会话。
  • 非管理员用户只能查看和终止他们的 Livy 会话。
  • 此功能与具有 LDAP 验证的 Zeppelin 和 Livy 解释器配合良好。

设置

1. 从 版本 页面下载可执行二进制文件并将其部署到您的服务器。
2. 将 Livy Manager 配置文件部署到您的服务器。请参阅 conf/livy-manager.toml.template 了解其模板。
3. 通过执行以下命令运行 Livy Manager

$ /path/to/livy-manager -c /path/to/livy-manager-configuration-file