Ovm for sparc规划设计v2 by Michael

OVM for SPARC 规划设计

Best practice & deep dive of OVM for SPARC 郭峰首席云计算架构师 / 甲骨文中国系统事业部 August 2014

《地心毁灭》

全面统一的服务器虚拟化选项集中的虚拟化生命周期管理

动态域

M 系列

Oracle VM for SPARC

Oracle VM for x86

虚拟机管理程序

T/M 系列

所有 x86

Zone & Kernel Zone

所有 SPARC 和 x86

广泛的服务器虚拟化技术选择

统一的基础架构云管理平台

OVM for SPARC 、OVM for X86、Solaris Zones for M/T/X Server

SPARC 虚拟化服务器池

Oracle VM X86虚拟化服务器池

存储信息库

OVM for SPARC虚拟化考虑因素 • 用户希望我们可以像X86一样灵活方便、同时还要有UNIX的安全可靠！ • 手工部署还是OpsCenter图形化管理？ • 通过OVM for SPARC实现高可用还是在应用层完成高可用？

高可用

虚拟磁盘多路径 Virtual disk multipathing enables you to configure a virtual disk on a guest domain to access its back-end storage by more than one path. The paths lead through different service domains that provide access to the same back-end storage, such as a disk LUN. This feature enables a virtual disk in a guest domain to remain accessible even if one of the service domains goes down.

# ldm add-vdsdev mpgroup=foo backend-path1 volume@primary-vds0 # ldm add-vdsdev mpgroup=foo backend-path2 volume@alternate-vds0 # ldm add-vdisk disk-name volume@primary-vds0 ldom 版权所有 © 2014，Oracle 和/或其关联公司。保留所有权利。

例：定义primary 和 root domain

高可用 CLI

primary# ldm add-vds primary-vds0 primary primary# ldm add-vcc port-range=5000-5100 primary-vcc0 primary primary# ldm add-vswitch net-dev=net0 primary-vsw0 primary primary# ldm set-core 2 primary primary# svcadm enable vntsd primary# ldm start-reconf primary primary# ldm set-mem 16g primary primary# shutdown -y -g0 -i6

primary# ldm add-dom alternate primary# ldm set-core 2 alternate primary# ldm set-mem 16g alternate primary# ldm start-reconf primary primary# ldm rm-io pci_14 primary primary# ldm rm-io pci_15 primary //移除T5-8中的PCI bus primary# init 6 primary# ldm add-io pci_14 alternate //为root domain添加PCI bus primary# ldm add-io pci_15 alternate //为root domain添加PCI bus primary# ldm add-vdsdev /export/home/iso/sol-11-sparc.iso s11iso@primary-vds0 primary# ldm add-vdisk s11isodisk s11iso@primary-vds0 alternate // 启动盘 primary# ldm add-vds alternate-vds0 alternate primary# ldm add-vsw net-dev=net0 alternate-vsw0 alternate primary# ldm bind alternate primary# ldm start alternate 版权所有 © 2014，Oracle 和/或其关联公司。保留所有权利。

例：创建多service domain虚拟机 primary# primary# primary# primary# primary# primary# primary# primary# primary# primary# primary# primary# primary# primary# primary# primary# primary#

高可用 CLI

ldm add-dom ldg1 ldm set-core 16 ldg1 ldm set-mem 64g ldg1 ldm add-vnet linkprop=phys-state ldg1net0 primary-vsw0 ldg1 ldm add-vnet linkprop=phys-state ldg1net1 alternate-vsw0 ldg1 ldm add-vdisk s11isodisk s11iso@primary-vds0 ldg1 mkdir /ldoms/ldg1 mkfile -n 20g /ldoms/ldg1/disk0.img ldm add-vdsdev mpgroup=ldg1group /ldoms/ldg1/disk0.img ldg1disk0@primary-vds0 //虚拟磁盘多路径 ldm add-vdsdev mpgroup=ldg1group /ldoms/ldg1/disk0.img ldg1disk0@alternate-vds0 ldm add-vdisk ldg1disk0 ldg1disk0@primary-vds0 ldg1 mkfile -n 20g /ldoms/ldg1/disk1.img ldm add-vdsdev mpgroup=ldg1group1 /ldoms/ldg1/disk1.img ldg1disk1@primary-vds0 ldm add-vdsdev mpgroup=ldg1group1 /ldoms/ldg1/disk1.img ldg1disk1@alternate-vds0 ldm add-vdisk ldg1disk1 ldg1disk1@alternate-vds0 ldg1 ldm bind ldg1 ldm start ldg1

OpsCenter 12c中配置多路径

高可用 BUI

In the Storage Resource Assignments step, retain the storage library selected for the virtual disks from the profile. There is only one path to access the backend storage and the multipathing group name is not provided. Therefore, multipathing group is not created for this virtual disk. The virtual disk server is named as root_dom1-vds0 by default. If required, you can modify the name of the virtual disk server.

高可用 BUI

IO Domain

•An I/O domain is a logical domain that has PCIe Endpoint devices assigned to it. •The number of I/O domains that you can create depends on the number of PCIe Endpoints that are available in a PCIe bus.

Physical IO Domain

高可用 BUI

Root Domain

• A root domain is a logical domain that has PCIe root complexes assigned to it. The PCIe bus and all the devices on it are owned by the root domain. From the root domain, you can allocate PCIe Endpoint devices to other logical domains.

Select Root Domain in the Subtype

高可用 CLI

IPMP 实现网络高可用

【Service Domain】 # ldm add-vnet linkprop=phys-state net0 primary-vsw0 ldom1 # ldm add-vnet linkprop=phys-state net1 primary-vsw1 ldom1 【Guest Domain】 # ipadm create-ip net0 # ipadm create-ip net1 # ipadm create-ipmp ipmp0 # ipadm add-ipmp -i net0 -i net1 ipmp0 # ipadm create-addr -T static -a 192.168.1.1/24 ipmp0/v4addr1 # ipadm create-addr -T static -a 192.168.1.2/24 ipmp0/v4addr2 版权所有 © 2014，Oracle 和/或其关联公司。保留所有权利。

一些需要遵循的原则

原则

• For the control domain and other service domains, use a minimum of at least 1 core (8 vCPUs) and 4GB or 8GB of memory for small workloads. Use two cores and 16GB of RAM if there is substantial I/O load. Be prepared to allocate more resources as needed. • Avoid “split core” situations in which CPU cores are shared by more than one domain (different domains with CPU threads on the same core). Split core situations are easily avoided by always assigning virtual CPUs in multiples of 8 (ldm set-vcpu 8 mydomain or ldm add-vcpu 24 mydomain). • Use Solaris 11 in the control and service domains - Solaris 11 contains functional and performance improvements over Solaris 10 (some will be mentioned below), and will be where future enhancements are made. • Live Migration - Live migration is CPU intensive in the control domain of the source (sending) host. You must configure at least 1 core to the control domain in all cases, but additional core will speed migration and reduce suspend time. • Root Domain： a maximum of 4 root domains can be created on the SPARC T4-4 server, and a maximum of 16 on a T5-8 server. • Oracle RAC：The main choice is to run Oracle RAC on either a guest domain or an I/O domain. it is not recommended to run Oracle RAC in the control domain or in a service domain. The operating system in all domains should be at least Oracle Solaris 10 10/11 (Update 10) or Oracle Solaris 11. Running Oracle RAC on Oracle VM Server for SPARC requires the use of Oracle 10g R2 (Oracle 10.2.0.4) or later with the same patch set on all nodes. • Each domain running Oracle RAC should have a minimum of 8 virtual CPUs (1 CPU core) and 4 GB of memory. This is a small resource allocation for illustrative purposes. 版权所有 © 2014，Oracle 和/或其关联公司。保留所有权利。

Oracle 网络虚拟化

IO扩展

The Complete Fabric Infrastructure for the Data Center 数据库服务器 (SPARC / x86)

应用/中间件服务器 (SPARC / x86)

Web服务器 (SPARC / x86)

Oracle Virtual Networking FABRIC INTERCONNECT

Oracle Virtual Networking

   

融合的基础架构和I/O整合解决方案加速应用，优化服务器之间的数据流量网络按需部署，实现真正的云架构减少70%的基础架构连接复杂度

企业核心网络

FC 光纤存储

IO扩展

OVN 问题归纳

主要的问题影响和对应在OVM for SPARC上OVN对我们来说最主要的问题有以下几个： 1.

OVN不能做SAN/WAN Boot。 

但是可以考虑通过虚拟的LUN作为系统盘使用，OVN看到的LUN可以作为Oracle RAC的数据盘。



或者使用物理HBA卡直接看到系统盘的LUN。

光纤多路径认证仅限：Veritas DMP和MPxIO；需通过Brocade FC switches连接存储。

SPARC上不支持SDN、PVI私有虚拟互联。？

每个IO/Root Domain最多 4个vHBAs和8个vNICs，不支持SR-IOV 。（OVN Host Drivers 5.1.2 ）

在OpsCenter 12c R2中支持多个Service Domain的方案。

RAC通过IB卡作为Private IP心跳网，在OVN中不可行。



另外通过HCA专门组建一个Private IP的心跳网。

数据库 Root Domain

方案一：虚拟LUN作为Solaris系统盘 DB Root Domain 1

Control Domain ETH 0~3

RAC Private IP QDR

vswitch

DB ASM Disk MPxIO

vHBA1 HBA1

HBA0 RC 0

RAC Private IP IPMP

Solaris OS System vDisk

vds MPxIO HBA0

RAC Public IP IPMP

HBA1 RC 1

HCA2

vNIC1

vNIC2

vHBA2

vNIC3

HCA3

可选项目 HCA2 HCA3 并非必须 RC RC 2

HCA4

HCA5

RC 4

IB Switch

RC 5

OVN

SAN RAC Private IP

SAN

vNIC4

DB Root Domain 2

DB Root Domain 3

方案一：虚拟LUN作为Solaris系统盘

数据库 Root Domain

优点是节省PCI插槽；缺点是RAS可用性降低 • 每个RAC需要的PCI插槽（2~4个）  2个HCA连接OVN  虚拟出2个vHBA连接RAC数据存储  虚拟出2个Public IP vNIC  虚拟出2个Private IP vNIC

 如果希望IB作为RAC的Private IP，则需要额外2个HCA连接到IB交换机

• Control Domain提供虚拟LUN作为系统盘vDisk  2个HBA卡连接存储，以便提供虚拟LUN  主板上的4个网卡供Control Domain与OpsCenter连接

 Control Domain自身的OS装在本地盘上

2PCI和4PCI方案可以混合使用倾向于2PCI方案

• 总IO Root Domain数量(T5-8)

 2个PCI方案： 7个 DB Root Domain，1个 Control Domain  4个PCI方案： 3个 DB Root Domain，1个 Control Domain （富余2块PCI ）

方案二：独立的物理HBA卡访问系统盘 DB Root Domain 1

Control Domain Solaris OS System Disk MPxIO

ETH 0~3

HBA0

RC n

HBAm RC m

RAC Private IP QDR

DB ASM Disk MPxIO

vHBA1

vswitch

HBAn

数据库 Root Domain

HBA1

HBA0 RC 0

HBA1 RC 1

HCA2

vNIC1

RAC Public IP IPMP

vNIC2

RAC Private IP IPMP

vHBA2

vNIC3

HCA3

可选项目 HCA3 RC RC 并非必须 2 3

HCA2

HCA4

HCA5

RC 4

IB Switch

RC 5

OVN

SAN RAC Private IP

SAN

vNIC4

DB Root Domain 2

方案二：独立的物理HBA卡访问系统盘

数据库 Root Domain

优点是Domain隔离，整体可用性高；缺点是需要更多PCI插槽 • 每个RAC需要的PCI插槽（4~6个）  2个HCA连接OVN  虚拟出2个vHBA连接RAC数据存储  虚拟出2个Public IP vNIC  虚拟出2个Private IP vNIC

 2个HBA连接SAN存储，作为Solaris 系统盘  如果希望IB作为RAC的Private IP，则需要额外2个HCA连接到IB交换机

• Control Domain配置  不需要PCI插槽  主板上的4个网卡供Control Domain与OpsCenter连接  Control Domain自身的OS装在本地盘上

• 总IO Root Domain数量(T5-8)  4个PCI方案： 4个 DB Root Domain，1个 Control Domain

4PCI和6PCI方案可以混合使用倾向于4PCI方案

混合虚拟化

关于Solaris Zone的使用 Zone更适合用于DI或CI的部署

• VIO LDOM中的Solaris Zone部署于虚拟机的本地盘中，不能做迁移和克隆，不能实现 Zone Pool，但是Zone可以随着VIO LDOM一起热迁移。 • DIO LDOM中的Solaris Zone可以实现Zone Pool的所有功能，可以冷迁移。 • DIO LDOM使用OVN的情形，如果Global Zone按照方案一或方案二部署。OVN虚拟出的 vHBA看到的LUN可以作为Zone Pool的存储池，能够形成Zone Pool。情形应与RAC相似，需要PoC验证。

T5-8 LDOM和Zone规划 Control Domain

混合虚拟化

VIO Domain

Root Domain （Zone Pool）

control dom Solaris 11 on Local Disk

CPU

Root domain Solaris 11 on Local Disk DI Zone Solaris 11 on LDOM Local Disk

MEM

DI Zone

CI CI Zone Zone

DB Zone Solaris 11 on Shared Disk DB Zone Solaris 11 on Shared Disk

VIO Guest Domain

vsw

vNet

vds

DB Zone

vDisk

vNet

App Ldom Solaris 11 on Shared Disk ETH

HBA

RC 0

RC 7

RC 8

ETH RC 15

Ops Center 12c Storage Libraries LUN

Switch

SAN

LUN App LDOM LUN Storage Library

DB Zone LUN Storage Library

SAN

Switch

T5-8 LDOM和Zone规划with OVN Control Domain

VIO Domain

control dom Solaris 11 on Local Disk

CPU

vsw

DI Zone Solaris 11 on LDOM Local Disk

MEM

Root domain Solaris 11 on Local Disk

DI Zone

CI CI Zone Zone

DB Zone Solaris 11 on Shared Disk DB Zone Solaris 11 on Shared Disk DB Zone vDisk

vNet

vNIC

vHBA

HCA

RC 0

Root Domain （Zone Pool）

VIO Guest Domain

vds

OVN Host Driver

混合虚拟化

App Ldom Solaris 11 on Shared Disk

RC 7

OVN Host Driver

RC 8

LUN

SAN

vNIC

vHBA HCA

Ops Center 12c Storage Libraries

Switch

vNet

vDisk

HCA RC 15

LUN App LDOM LUN Storage Library

DB Zone LUN Storage Library

SAN

Switch

VIO部署Oracle RAC和磁盘性能

虚拟IO 性能

The virtual disk I/O performance boost：Solaris 11.1 SRU 19.6 introduces new algorithms that remove bottlenecks caused by serialization (Update: patch update 150400-13 provides the same improvement on Solaris 10 ). Oracle VM Server for SPARC 3.1.1 added the ability to use Single Root I/O Virtualization (SR-IOV) for Fibre Channel (FC) devices. This provides native performance with better resource granularity: there can be many SR-IOV devices to hand to domains. 版权所有 © 2014，Oracle 和/或其关联公司。保留所有权利。

图形管理

OpsCenter12c网络架构 OpsCenter 12c的采用决定了系统的架构。 某些手工管理的灵活性丧失。 某些特性没有了，如ZFS卷克隆部署LDOM特性无法BUI实现。 初期部署复杂、后期维护方便。 通过OpsCenter12c构建的Server Pool可以进行池化管理，虚拟机HA。 图形管理的虚拟化全生命周期管理。 所有SPARC服务器都应该同构部署，Control Domain、Root Domain、Service Domain、PCI Bus的分配，网络连接等都应该是一样的。

OpsCenter12c 安装环境需求 [网络需求] •1，所有SPARC server的ILOM接入一个交换机A；ilom口配置好IP地址，交换机A上没有防火墙和端口限制。 •2，所有SPARC server的control domain上的一个网口接入一台交换机B，最好使用服务器上相同的网口，主板上的eth0比较合适便于管理，注意必须是Control Domain上的网卡。交换机B上没有防火墙和端口限制；请特别注意在此交换机的网段上，OpsCenter将开启DHCP功能，用于虚拟机ldom的部署和安装。 •3，OpsCenter有一个网口A接入交换机A，以便管理ILOM和业务口；另一网口B接入交换机B，用于虚拟化管理。 •4，OpsCenter有一个网口C接入公网，便于管理员从公网访问，配置好合适IP。 [服务器配置] •5，安装OpsCenter服务器的配置需要与Oracle X4-2相当，32G内存，32G Swap，200G 可用硬盘空间，硬盘要两块做镜像，提高opscenter可靠性。预装Solaris 11.1操作系统。安装好Desktop以便VNC访问，开启ssh服务。 •6，第三方服务器认证列表： – Solaris 11：http://www.oracle.com/webfolder/technetwork/hcl/data/s11ga/systems/views/all_servers_all_results.mfg.page1.html – Solaris 10：http://www.oracle.com/webfolder/technetwork/hcl/data/sol/systems/views/all_servers_all_results.page1.html

•[账户信息] •7，需要提供上述sparc server的ilom和control domain的ip地址以及root账户信息。 •8，上传opscenter、oracle db、solaris repository full.iso和 solaris SRU.iso文件到opscenter服务器。

OVM for SPARC资源池建设步骤

OpsCenter 12c架构部署流程

LDOM、OS安装：1小时

更新IPS：1~2天物理资产发现 •安装Solaris 11.1 •安装配置 OpsCenter12c

OpsCenter12c 管理平台

添加服务器：10分钟

OVM安装：1小时存储资源池 •配置部署模板 •配置ILOM •OpsCenter 发现物理服务器

基础环境配置： 1天

•OpsCenter12c推送部署 OVM for SPARC

部署OVM for SPARC

创建虚拟机 •创建服务器池

•配置NAS Library

•配置网络

•创建VIO Domain

•配置SAN Library

•配置存储

•创建DIO Domain

服务器池

构建存储池：10分钟资源池运维

资源池扩充 •部署OVM for SPARC •添加到服务器池

OVM安装，配置：1小时

加载新存储：10分钟 •NAS存储 •SAN存储

挂载新存储

虚拟机迁移 •VIO Domain在线热迁移 •DIO Domain离线冷迁移

热迁移：10分钟

DR：5分钟 •调配vCPU •调配MEM •调配vDisk

动态资源调配

虚拟化管理平台招标指标 No. 1 2 3 4 5 6 7 8 9 10 11 No. 12

13 14 15

监控对象以下各项服务器监控内容 CPU监控预警内存监控预警磁盘监控预警风扇制冷监控电源管理物理服务器操作系统部署网卡物理机虚拟化软件部署服务器性能监控 Firmware更新

服务器管理

监控内容均需通过浏览器方式可视化管理，并且能够以丰富的图表展示各种系统信息和分析数据。

是否满足

CPU架构、CPU数量、实际电源消耗、最大CPU数量、名称、型号、速率、制造商、运行状态 DIMM数量、内存大小、最大DIMM数、实际电源消耗、内存类型、制造商、序列号、运行状态安装的内置盘容量、运行状态 Classis和PSU风扇安装数量和最大数量、入口和排气温度、运行状态电源数量、电源功耗、状态、安装数量、最大数量、制造商、序列号通过图形化管理工具批量部署Oracle Solaris、Linux操作系统

运行状态、MAC信息通过图形化管理工具批量部署OVM for SPARC和Solaris Zone虚拟化管理程序监控支持ALOM和ILOM服务芯片的服务器功耗、CPU、风扇转速、In/Out Pull、温度 SPARC服务器Firmware更新管理操作系统管理监控对象监控内容以下各项操作系统监控均需通过浏览器方式可视化管理，并且能够以丰富的图表展示各种系统信息和分析数据。内容操作系统更新 Oracle Solaris和Linux的操作系统更新操作系统运行状态操作系统运行分析，包括CPU利用率、网络利用率、磁盘IO利用率、内存利用率、预警信息表、线程信息、文件系统使用率、系统负载支持主流的操作系统 Solaris for SPARC、Solaris for X86、Oracle Linux、Redhat Linux、Novell SUSE Linux Windows

是否满足

虚拟化管理平台招标指标（续） No. 16 17 18 19 20

21 22 23 24 No. 25

服务器虚拟化管理监控对象监控内容以下各项虚拟化监控内容均需通过浏览器方式可视化管理，并且能够以丰富的图表展示各种系统信息和分析数据。虚拟化管理程序安装部署通过图形化管理工具批量部署OVM for SPARC和Solaris Zone虚拟化管理程序多种虚拟化技术支持能够管理至少如下三种虚拟化管理程序：OVM for X86、OVM for SPARC、Solaris Zone 虚拟机创建和部署图形化创建虚拟机、并且为虚拟机安装部署操作系统虚拟机动态资源调配动态增减内存动态增减vCPU 动态增减磁盘动态增减网卡虚拟机性能监控 vCPU、内存、磁盘、网络虚拟机迁移功能 OVM for SPARC 和 OVM for X86在线热迁移 Solaris Zone图形化冷迁移自服务门户用户可以通过自服务门户的方式按配额申请虚拟机用户权限管理支持角色方式的多种权限分配，不同的用户可以获得多种管理权限。软件集成能力监控对象监控内容 Oracle Enterprise Manager 管理软件能够和Oracle Enterprise Manager Cloud Control 12c进行集成，以方便虚拟化 Cloud Control 12c 和应用软件的管理和监控。

是否满足

服务器虚拟化软件招标指标 No. 1 2 3 4 5 6 7 8

9 10 11 12 13 14

服务器虚拟化软件功能具体内容是否满足虚拟机动态资源调配 CPU动态资源调配、内存动态资源调配、虚拟 I/O动态资源调配、加密单元动态资源调配、动态添加磁盘、动态添加网卡跨 CPU 的安全实时迁移可以在同架构不同代次CPU服务器间进行虚拟机在线实时热迁移。动态SR-IOV虚拟化I/O 不需要重新引导即可实现SR-IOV的重新配置高级SR-IOV功能支持InfiniBand SR-IOV和光纤通道SR-IOV 直接IO功能基于PCIe插槽和PCIe总线为虚拟机分配直接 I/O通道，以提高虚拟机的I/O性能 CPU颗粒度能够按CPU线程和CPU核两种方式分配CPU计算资源给虚拟机的vCPU 虚拟机功耗监控能够查看各虚拟机的功耗情况恢复模式该功能可以自动恢复因为资源出现故障或缺少资源而无法引导的域配置。自动检测故障内存和CPU 资源并将其降级的功能支持。故障管理故障管理体系结构(FaultManagement Architecture, FMA) 黑名单功能。当FMA 检测到有故障的CPU 或内存资源后，Oracle VM for SPARC 会将其放入黑名单。不能将列入黑名单的有故障资源重新分配给任何域，除非FMA 将其标记为已修复 MIB支持 MIB（Management Information Base）使第三方系统管理应用程序能够使用简单网络管理协议 (Simple Network Management Protocol, SNMP) 对域执行远程监视并启动和停止虚拟机。指定CPU分配支持分配指定的CPU 核心和内存块给虚拟机指定内存分配支持分配指定的CPU 核心和内存块给虚拟机 DRM策略支持较高优先级的域按照DRM策略的要求使用较低优先级别域的CPU。priority优先级策略。电源管理PM策略在主机计算机具有有效的PM弹性策略时，启用动态资源管理(dynamic resource management,DRM) 功能。在源计算机、目标计算机或两者都具有有效的电源管理(power management, PM) 弹性策略时，启用实时迁移功能。