博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
标题:DKhadoop大数据处理平台监控数据介绍
阅读量:6414 次
发布时间:2019-06-23

本文共 1305 字,大约阅读时间需要 4 分钟。

标题:DKhadoop大数据处理平台监控数据介绍

2018年国内大数据公司50强榜单排名已经公布了出来,大快以黑马之姿闯入50强,并摘得多项桂冠。Hanlp自然语言处理技术也荣膺了“2018中国数据星技术”奖。对这份榜单感兴趣的可以找一下看看。本篇承接上一篇《DKM平台监控参数说明》,继续就大快的大数据一体化处理架构中的平台监控参数进行介绍和说明。
DKhadoop大数据处理平台架构的安装相关文章已经分享过,详细的内容可以找一下看看。在上一篇中已经就集群平均负载、集群磁盘使用情况、HDFS监控界面、Hbase监控界面等监控参数进行说明。今天就把剩下的一些监控参数一起介绍完,关于大快大数据处理平台监控参数的介绍就完整了。

1、Yarn监控界面

(1) 执行失败的应用程序
标题:DKhadoop大数据处理平台监控数据介绍
监控 yarn资源管理中总执行失败的应用程序数量
纵轴表示应用程序数量,单位个
横轴表示时间,单位分钟
(2)已提交的应用程序
标题:DKhadoop大数据处理平台监控数据介绍
监控 yarn资源管理中已提交的应用程序数量
纵轴表示应用程序数量,单位个
横轴表示时间,单位分钟

(3)正在运行的应用程序

标题:DKhadoop大数据处理平台监控数据介绍

监控 yarn资源管理中正在运行的应用程序数量

纵轴表示应用程序数量,单位个
横轴表示时间,单位分钟
(4) 等待执行的应用程序
标题:DKhadoop大数据处理平台监控数据介绍

监控 yarn资源管理中等待执行的应用程序数量

纵轴表示应用程序数量,单位个
横轴表示时间,单位分钟

(5)已完成的应用程序

标题:DKhadoop大数据处理平台监控数据介绍

监控 yarn资源管理中已完成的应用程序数量

纵轴表示应用程序数量,单位个
横轴表示时间,单位分钟
(6)被kill的应用程序
标题:DKhadoop大数据处理平台监控数据介绍

监控 yarn资源管理中被杀死的应用程序数量

纵轴表示应用程序数量,单位个
横轴表示时间,单位分钟
2、Spark监控界面
注意:(spark 运行任务后才有监控数据)
(1) 最大可使用内存
标题:DKhadoop大数据处理平台监控数据介绍

监控 Spark 集群中最大可使用的内存

纵轴表示内存容量,单位MB
横轴表示时间,单位分钟
(2)已使用的内存
标题:DKhadoop大数据处理平台监控数据介绍
监控 Spark 集群中已经使用的内存
纵轴表示内存容量,单位MB
横轴表示时间,单位分钟
(3)剩余内存

标题:DKhadoop大数据处理平台监控数据介绍

监控 Spark 集群中剩余的内存
纵轴表示内存容量,单位(MB)
横轴表示时间,单位分钟
(4)Spark中任务数量
标题:DKhadoop大数据处理平台监控数据介绍
监控 Spark 集群中任务数量
纵轴表示内存容量,单位MB
横轴表示时间,单位分钟
(5)Spark中正在运行的任务数量
标题:DKhadoop大数据处理平台监控数据介绍
监控 Spark中正在运行的任务数量
纵轴表示内存容量,单位MB
横轴表示时间,单位分钟
(6)正在运行的stage数量
标题:DKhadoop大数据处理平台监控数据介绍

监控 Spark集群中正在运行的stage数量

纵轴表示stage数量,单位个
横轴表示时间,单位分钟

(7)失败的stage数量

标题:DKhadoop大数据处理平台监控数据介绍
监控 Spark集群中运行失败的stage数量
纵轴表示stage数量,单位个
横轴表示时间,单位分钟
(8)准备就绪的stage数量
标题:DKhadoop大数据处理平台监控数据介绍

监控 Spark集群中准备就绪的stage数量

纵轴表示stage数量,单位个
横轴表示时间,单位分钟
备注:
(横轴的时间表示采集时间,一般是1分钟一次)

转载于:https://blog.51cto.com/13976251/2310485

你可能感兴趣的文章
Android上成功实现了蓝牙的一些Profile
查看>>
基于jQuery图片自适应排列显示代码
查看>>
NEURAL NETWORKS, PART 1: BACKGROUND
查看>>
jquery对同级的td做radio限制
查看>>
Delphi XE5 常用功具与下载
查看>>
存储过程由结构表生成表
查看>>
C# 批处理制作静默安装程序包
查看>>
柯南君:看大数据时代下的IT架构(5)消息队列之RabbitMQ--案例(Work Queues起航)...
查看>>
2015 Multi-University Training Contest 2 1002 Buildings
查看>>
java 产生的固体物的基础上 增删改的SQL声明
查看>>
在自己的网站添加关注新浪关注按钮
查看>>
【MySQL笔记】mysql来源安装/配置步骤和支持中国gbk/gb2312编码配置
查看>>
一句话的设计模式(转)
查看>>
(剑指Offer)面试题54:表示数值的字符串
查看>>
Centos下安装mysql 总结
查看>>
ORM武器:NHibernate(三)五个步骤+简单对象CRUD+HQL
查看>>
UIScrollView offset in UINavigationController
查看>>
怎么从sqlserver 数据库导出 insert 的数据语句
查看>>
BZOJ4245 : [ONTAK2015]OR-XOR
查看>>
Android Properties 存储
查看>>