未来企业对于构建统一的企业大数据平台来驱动各种业务具有强烈需求,统一的企业大数据平台需要提供以下功能:
一:资源弹性共享 - 提高资源利用率
- 灵活部署:Big Data + Application
- 资源调度:Auto-scaling + Self-healing
- 服务发现:Central Repository
二:隔离性 - 保障服务质量和安全性
- 数据隔离:Data Sources, Access Pattern, Confidential Levels
- 计算隔离:CPU, Memory, I/O
- 应用隔离
基于大数据架构及深度学习框架设计的QD-OS满足了以上企业大数据平台的需要,支持对大数据基础平台的一键式部署、扩容、缩容,同时也允许其他服务和大数据服务共享集群,从而提高资源的使用率。QD-OS创新的抢占式资源调度模型 能在保障实时业务的同时,提高集群空闲时的资源占用,让批量作业和实时业务在互不干扰的情况下分时共享计算资源。
另外,在QD-OS上运行的大数据应用还引入微服务的架构,显著地降低了用户部署环境对系统稳定性的影响,提高了部署的可用性,并且能让用户在不停机的前提下,享受到将来更新版本的升级以及修复。
QD-Operating System组成部分
QD-Operating System由以下四部分组成
- Ring 0: Docker/Container
- Ring 1: Resource scheduler
- Ring 2: Built-in system services
- Ring 3: Central service repository (docker images)
tor Stream Elastic
Search Hyper
base Pig Oozie Flume Sqoop Postgr
esSQL Redis
Service Repository
QD Operating System支持一键式部署、扩容、缩容,同时也允许其他服务和大数据服务共享集群,从而提高资源的使用率。QD_OS创新的抢占式资源调度模型 能在保障实时业务的同时,提高集群空闲时的资源占用,让批量作业和实时业务在互不干扰的情况下分时共享计算资源。
一:自动部署
用户可以通过Web、REST API or CLI 一键瞬间安装和部署集群自动根据服务的依赖性安装所需的其他服务组件。
tor Stream Elastic
Search Hyper
base Pig Oozie Flume Sqoop Postgr
esSQL Redis
Service Repository
二:完善的多租户支持
QD Operating System 通过重写资源管理框架实现了对CPU, Memory,硬盘和网络更好的隔离,下面是QD-OS与YARN和Kubernetes的对比。
资源粒度 | 隔离程度 | 依赖性 | 通用性 | |
---|---|---|---|---|
YARN | CPU/MEM | 进程级别、不精确 | 依赖某个HDFS | 支持少量计算引擎 |
Kubernetes | CPU/MEM | Container | 不依赖Hadoop | 支持通用Linux负载 |
QD-OS | CPU/MEM, DISK, NETWORK | Container + Quota + VLAN | 不依赖Hadoop | 支持大数据及通用应用 |
三:自动调整容量
QD-OS 支持自动扩容和缩容,同时也允许其他服务和大数据服务共享集群,从而提高资源的使用率。QD-OS创新的抢占式资源调度模型 能在保障实时业务的同时,提高集群空闲时的资源占用,让批量作业和实时业务在互不干扰的情况下分时共享计算资源。
四:自动修复
QD-OS的Replicator模块负责检测集群规模,当集群中服务发生问题时可以另起一个服务实例实现集群的自我修复功能。