大数据平台DataEngine中支持创建独立集群、租户集群两种模式的集群。
独立模式,表示每个租户独立使用一套集群(独享集群内所有资源),网络和资源互相隔离。优点如下:
集群资源统管、业务分治,故障易定位。
资源通过物理硬件隔离,易管控。
不同价值密度、存储周期的数据分开存储,数据更安全。
满足多应用场景数据和资源隔离的需求,且各业务间互不干扰。
图-1 独立集群模式
租户模式,表示多个租户之间共享一套集群,共享网络和集群资源,但每个租户仅可访问自己对应的资源(资源严格隔离)。优点如下:
集群资源分配管理粒度细,租户可按需申请CPU、内存等资源。
计算资源闲置时可共享给其他租户使用,资源利用率大。
数据共享方便,授权即可访问,无需数据搬迁。
满足多应用按需共享集群中的存储、计算等资源需求。
图-2 租户集群模式
大数据平台通过部署一套租户集群对大数据资源进行统一管理,各租户可按需申请租户集群中的存储、计算等资源。多个租户之间通过权限进行隔离,通过大数据集群的权限管理也可对不同用户开放租户访问权限,数据共享无需数据搬迁。租户简化了用户获取大数据集群资源的方式,避免了大数据集群安装部署的繁杂,而且通过租户的统一管理,能很好的监控资源的使用情况,避免了集群资源的浪费。
大数据集群中的租户模型如下图所示。
图-3 租户模型
表-1 租户相关概念说明
概念 |
说明 |
示例 |
用户 |
即租户的用户,用户拥有用户名、密码等帐号信息,是大数据集群中租户资源的使用者。 用户使用的资源属于租户资源,用户之间不可以互占资源 |
图中有三个不同的用户:用户A、用户B、用户C,其中用户A拥有角色“R1”和角色“R3”的权限,所以用户A同时可使用租户1和租户3的资源,其他用户同理 |
角色 |
角色是承载一个或多个权限的载体,用户绑定对应租户的角色,才能操作对应租户。 权限是限定在具体对象上的,例如对HDFS中的“/tenant”目录的访问权限,这里权限就限定在“/tenant”目录这个具体对象上 |
图中有三个不同的角色:角色“R1”、角色“R2”、角色“R3”,分别对应租户1、租户2、租户3的权限 |
租户 |
管理员对租户集群中的大数据资源进行统一管理,按需为每一个租户分配具体的组件资源及容量,租户的资源是从租户集群总资源中划分出的。 多个租户之间通过权限进行隔离,通过权限管理也可对不同用户开放访问权限,数据共享无需数据搬迁 |
图中有三个不同的租户:租户1、租户2、租户3,这三个租户对应的角色分别为角色“R1”、角色“R2”、角色“R3” |
资源 |
租户1、租户2、租户3分别从集群中划分出存储和计算资源,彼此之间的资源互相隔离 |