Erp集成云平台的管理实现 v2 2 by Michael

Oracle Cloud Strategy

ERP集成云平台的管理实现郭峰首席技术顾问

甲骨文（中国）软件系统有限公司

主题

 IaaS基础架构云管理  PaaS数据库云管理

PaaS与IaaS管理软硬件一体化监控

 PaaS - 平台即服务管理  Cloud Control 12c

 IaaS - 基础架构即服务管理  OpsCenter 12c

SPARC小型机虚拟化

The Virtualization Platform combining the best of Oracle Solaris and SPARC for Your Enterprise Server Workloads

Solaris 11.1新特性 • • • • • • • •

Solaris/RAC Kernel 加速模块 Oracle DB自动内存管理AMM NUMA-Aware 共享内存分配 Oracle 12c事件跟踪DTrace I/O集成 Oracle Audit Vault 审计信息收集 Database Firewall审计信息集成 Java Mission Control 中具有 DTrace 插件 WLS 可伸缩性，单线程模式

SPARC虚拟化

SPARC 服务器虚拟化全面统一的服务器虚拟化选项 Oracle VM for SPARC

LDom 1

Solaris

LDom 2

Solaris

2 Solaris Zone

LDom x

容器 1

Cluster Solaris

内存内存

• • • • • • • •

Solaris 操作系统

CPU CPU CPU CPU CPU

CPU CPU CPU CPU 内存内存

内存内存内存

每个虚拟机上运行独立的操作系统虚拟 I/O 虚拟机虚拟物理资源单线程粒度动态调整和可移动低开销对最终用户免费 T/M5系列 SPARC 服务器

容器 x

Cluster

虚拟机层 Hypervisor CPU CPU CPU

容器 2

• • • • • • •

CPU CPU CPU CPU CPU 内存内存内存

所有容器共享一个操作系统实例独立的文件系统完全的软件隔离子线程粒度动态调整和可移动性低开销对最终用户免费

Control domain The domain that installs Logical Domains Manager, and the domain that makes, and manages the guest domain. And, virtual service and virtual I/O are provided and use from the guest domain is enabled. Control domain

ď&#x192;ź ldmd demon It communicates with Hypervisor and the LDoms is provided.

ď&#x192;ź vntsd demon It communicates with other domains and the virtual terminal service is provided.

You should not to install business applications on control domains. Remain at least 4 Core for running control domain (Service domain)

solaris11

LDoms Manager ldmd Device Driver

Hypervisor

Hardware

Guest domain

vntsd Virtual Service

DOMAIN CHANNEL

I/O

Virtual Device

Service domain •

The Service Domain - Provides services (virtual I/O) to itself and to other LDoms via a special Logical Domain Channel (LDC) - Multiple service domains can exist with shared or sole access to system facilities - Allows I/O load separation and redundancy within domains deployed on a platform - Per default it acts in the "Control Domain", but may also work in a second, redundant way • Redundancy of I/O can be utilized if two Service domains are created - Typical services are network and disk I/O

The Virtual services

Hypervisor

 Virtual disk service (vds)  Virtual switch service (vsw)  Virtual console service (vcc)

Hardware

I/O domain  I/O domain has direct ownership of direct access to physical I/O devices such as PCI card.  It can have not only virtual I/O but also direct I/O. Control domain

Solaris10 LDoms Manager

Service domain

Solaris10

vcc vsw vds

NIC

I/O domain

NIC

Guest domain Domain that uses virtual service and virtual I/O managed by control domain. Guest Domain A guest domain is a complete virtualized environment that has no ownership of physical I/O or virtual devices, nor does it provide services to other domains. It is a subscriber of the resources or services provided to it by the control domain or a service domain. The guest domain must run an operating system that understands both the sun4v platform and the virtual devices presented by the hypervisor. • Feature of guest domain  Completely independent Solaris OS environment  The domain can be started/stopped without influencing other domains.  CPU resource can be dynamically reconfigured

Control domain

Guest domain

solaris10

App A

App B

Hypervisor Hardware

CPU

MEM

CPU

MEM

CPU

MEM

Direct I/O and Virtual I/O - Direct I/O The physical I/O can be allocated directly in the domain by each buses. A physical device pass is recognized as it is at the domain. - Virtual I/O Virtual I/O is supplied by virtual services of control domain (service domain). One physics I/O can be allocated in two or more domains. It has an overhead by making to virtualization, and the performances are inferior to direct I/O.

Control domain Solaris10

Domain A Solaris10

Virtual Service

/virtual-devices@100/…

Virtual I/O

Domain B Solaris10

Domain C Solaris10

Virtual I/O

/pci@500/…

I/O

Hypervisor Hardware

I/O

/pci@400/…

I/O

/pci@500/…

Oracle VM Server for SPARC 适用于 SPARC 服务器的高级虚拟化

• 领先的性价比 • 满足最苛刻的业务需求 • 跨 CPU 的安全实时迁移 • 提高应用程序服务级别 • SR-IOV 和 PCIe 直接 I/O • 原生 I/O 吞吐量！ • 动态重新配置 • 动态更改资源！ • 高级 RAS • 提高所有级别的可用性 • 物理到虚拟 (P2V) 转换 • 轻松将原有 Solaris 迁移到虚拟化环境

动态资源调配

支持

CPU动态调配

   

内存动态调配虚拟 I/O动态调配加密单元动态调配

Oracle VM Server for SPARC 适用于 SPARC 服务器的高级虚拟化（续）

• CPU 整核分配和核心亲和性 • 应用程序性能更高！ • CPU 动态资源管理 (DRM) • IT 与业务优先级更一致 • CPU 电源管理 • 能效更高、成本更低！ • 高级网络配置 • 灵活满足网络需求 • 增强了 SNMP MIB • 与第三方管理软件互操作 • 官方认证，全面支持 • 覆盖硬件、固件、虚拟化、操作系统和软件体系

IaaS - 基础架构即服务管理 OpsCenter 12c • 发现和供给

• 资源监控和管理 • 配置管理  发现服务器  监控服务器、存储和网络  管理配置更改  裸机供给  异常告警  系统补丁  集成事件管理系统  更新Firmware • 虚拟化管理  最终补丁一致性  管理OVM和Zone •系统维护  健康检查  虚拟机模板供给  远程管理  虚拟机热迁移 SR管理

Ops Center 12c 管理架构  支持本地或远端数据库  Proxy高可用和负载均衡 Enterprise Controller

API or CLI

 公共的Schema数据持久化  与EMCC共享系统主框架

Browser UI

 通过集群方式高可用Enterprise Controller

Proxy Controllers

 LDAP 身份认证集成

Physical Servers Storage Appliances Virtual Servers Network Switches Operating Systems

Oracle Database 11.2.0.3 Oracle GlassFish 3.x

Ops Center 12c网络模型

统一的服务器虚拟化管理

OVM for SPARC 、OVM for X86、Solaris Zones for M/T/X Server

SPARC 虚拟化服务器池

Oracle VM X86虚拟化服务器池

存储信息库

IaaS资源池部署架构 Ops Center 12c网络模型核心交换 SAN

NAS

业务数据网

SPARC资源池

X86资源池

OVM for X86 OS Agent

ILOM

OS Agent

ILOM

OVM for SPARC OS Agent ILOM

OS Agent

OS Agent管理网

ILOM

OS Agent

ILOM

OS Agent

ILOM

ILOM管理网

EM OpsCenter 12c

SPARC资源池建设步骤 OVM for SPARC LDOM、OS安装：1小时

更新IPS：1~2天 • 安装Solaris 11.1 • 安装配置 OpsCenter12c OpsCenter12c 管理平台

物理资产发现 • 配置ILOM • OpsCenter发现物理服务器

基础环境配置： 1天

OVM安装：1小时 • 配置部署模板 • OpsCenter12c 推送部署OVM for SPARC 部署OVM for SPARC

存储资源池 • 配置NAS Library • 配置SAN Library

构建存储池：10分钟

添加服务器：10分钟 • 创建服务器池 • 配置网络 • 配置存储

创建虚拟机 • 自动创建VIO Domain • 手动创建DIO Domain

服务器池

资源池运维资源池扩充 • 部署OVM for SPARC • 添加到服务器池

OVM安装，配置：1小时

加载新存储：10分钟

• NAS存储 • SAN存储

挂载新存储

虚拟机迁移 • VIO Domain在线热迁移 • DIO Domain离线冷迁移

热迁移：10分钟

提示：以上时间估计基于T4-4和OpsCenter12cR1U4的PoC测试经验值，并且都是经验值的上限。

DR：5分钟

• 调配vCPU • 调配MEM • 调配vDisk 动态资源调配

IaaS基础架构云的实现 Oracle VM for SPARC & OpsCenter 12c  Control Domain由OpsCenter推送安装  VIO Domain由OpsCenter推送安装  VIO Domain在线热迁移  VIO Domain存储池管理  DIO Root Domain需要手工创建安装*  DIO Domain存储需要手工管理*  存储多路径MPxIO需要手工激活  CPU和内存OpsCenter动态调配

*Ops Center 12c R2近期将提供对OVM for SPARC中的多I/O Domain、Direct I/O， SR-IOV等功能的支持 *DIO Domain 主要用于数据库，存储由Oracle ASM管理，并通过EM Cloud Control对RAC统一管理 18

OVM for SPARC虚拟机管理

OVM for SPARC存储池管理

OVM for SPARC网络管理

SPARC虚拟机迁移和克隆 OVM for SPARC & Solaris Zone  OVM for SPARC在线热迁移  对于Oracle RAC不推荐虚拟机热迁移、存在脑裂等风险

 Solaris Zone冷迁移、克隆  建议部署于DIO Root Domain中

Demo 1 Oracle RAC Live Migration on OVM for SPARC Demo 2 Solaris Zone Migration Demo 3 Solaris Zone Clone

IO and Root Domain Types Ops Center 12c Release 2

Attach Networks To Guest Through IO Domains Ops Center 12c Release 2

PCIe Endpoint Configurations Ops Center 12c Release 2

EM管理集成

主题

 IaaS基础架构云管理  PaaS数据库云管理

PaaS完整的生命周期管理

全面涵盖生命周期的所有阶段 • 计量资源利用和云使用 • 选择性地向应用程序所有者、最终用户和/或业务部门收费 • 优化云性能、容量、QOS 、敏捷性、地理位置、人员、成本……

• • • • •

自助式资源管理云资源和请求监控应用程序到磁盘的堆栈管理集中事件和配置管理最终用户、业务水平、应用程序监视

规划

优化

• 识别所有 IT 资产 • 决定应用程序、成本模型、策略、角色…… • 整合规划（P2V、P2E、数据库、应用程序……） • 设置基础架构…… • 设置共享服务（IaaS、 DBaaS、PaaS、应用程序）

设置

计量计费

应用程序和业务服务平台即服务 DBaaS

MWaaS

构建

管理基础架构即服务测试

监视部署

• 使用共享组件装配 • 测试应用程序 • 通过自助式 GUI/API 部署应用程序

Cloud Control 12c系统架构 Console

Overall Architecture and Components BI Publisher

Connectors

HTTP(S) >EMCLI >EMCLI

EMCLI

JDBC Firewall

OMS Repository

Software Library

Agent Targets Notifications

Oracle Store/MOS

Plug-ins

监控第三方系统

System Monitoring Plug-in Apache Tomcat

 

EMC Celerra Server



EMC CLARiiON System



EMC Symmetrix DMX System



Exalogic Elastic Cloud Infrastructure



IBM DB2



Microsoft Active Directory



Microsoft BizTalk Server



Microsoft Internet Information Services



Sybase Adaptive Server Enterprise



VMware vSphere



Microsoft .NET Framework



Microsoft SQL Server



Oracle Audit Vault



Oracle Big Data Appliance



Oracle Engineered System Healthchecks



Oracle GoldenGate

第三方管理平台互连

Various management connectors  Microsoft Systems Center Operations Manager Connector  BMC Remedy Service Desk 7 Connector  BMC Remedy Service Desk 7.6 Connector  CA Service Desk Connector  HP Operations Manager Connector  HP Service Manager Connector  HP Service Manager Version 9 Connector  IBM Tivoli Enterprise Console Connector  IBM Tivoli Netcool/OMNIbus Connector

PaaS平台服务云的实现 Oracle Database RAC & Cloud Control 12c  Oracle Database RAC安装部署

 数据库生命周期管理  ASM管理和监控  数据库性能监控调优  PaaS自服务门户

云数据库资源模型 •Cloud

顶层服务目录模型各种模块的集合： OVM, Database，Weblogic

•Database Pool & Middleware Pool

EM 12c 的概念: Poo和Zone都是一个逻辑单元，基于不同的配置、版本、部署方式等。

•Oracle Software  

Oracle Home

Oracle主目录, 二进制软件, 可执行代码, 程序, 脚本等 Grid Home

Oracle RAC Clusterware服务器集合

•PaaS Infrastructure Zone  

OVM Zone Hosts

RAC 11.2.0.3 RAC 11.2.0.2 RAC 11.2.0.2

RAC 11.2.0.3 SIDB 10.2.0.5

SIDB 10.2.0.5

云资源管理模型 Middleware Pool Solaris Cluster

Database Pool Oracle RAC 数据库应用管理 RAC增加删除节点 数据库维护 数据库自服务申请 …

OVM for SPARC Server Pool 服务器虚拟化管理 虚拟机资源调配 热迁移、监控 虚拟机自服务申请 …

OS Agent

T5-8 OS Agent管理网

EM OpsCenter 12c T5-2

ILOM

OS Agent

ILOM

T5-8 ILOM管理网

EM Cloud Control 12c T5-2 所有DIO Domain的数据库都是在EMCC管理

IaaS和PaaS统一资源供应服务目录

平台服务 PaaS 各种关系型数据存储

中间件平台 JavaEE容器 SOA应用集成平台 ESB企业服务总线 BPM业务流程总线

数据库实例 Schema设计 可插拔数据库

资源池

各种操作系统 Solaris SPARC & X86 Linux Windows 预装软件模板 IaaS++

JEEaaS Zone

DBaaS Zone

服务区

基础架构服务 IaaS

VMaaS Zone

数据库池

中间件池

虚拟机池

Oracle DB 12c RAC

Oracle DB 11g RAC

Oracle DB 11g SI

Weblogic 12c Cluster

Weblogic 11g Cluster

Weblogic 11g SI

Solaris

Linux Windows Solaris

Solaris

Solaris 11

Solaris 10

Linux 6

Solaris 11

Solaris 10

Linux 6

OVM SPARC

OVM X86

Solaris Zone

主机池

存储池

数据库优化存储数据库服务质量QoS

数据生命周期管理应用服务质量QoS

虚拟机服务质量QoS 虚拟机IO性能监控

数据库资源池建设步骤 Oracle Database RAC EM安装部署：2小时

主机发现 • 安装Solaris 11.1 • 安装配置Cloud Control 12c Cloud Control12c 管理平台

• 部署EM Agent • 部署Oracle 数据库Plug-in

添加目标：10分钟

RAC部署：2~3小时 • 配置存储供 ASM使用 • 安装部署 Oracle RAC

部署数据库

数据库发现 • 添加被管数据库对象 • 配置数据库账号信息

管理DB：10分钟

RAC增减节点：1~2小时 • 存储管理 • 性能监控、 SQL调优 • RAC增减节点

数据库监控

创建DBaaS • 创建数据库模板 • 创建DB Pool • 定义自服务门户

DBaaS：2~3小时

提示：以上时间估计基于T4-4、Oracle 11.2.0.4和Cloud Control 12cR3的PoC测试经验值，并且都是经验值的上限。

数据库云自服务系统 1 PaaS Infrastructure Zone 2 Database Pool & Middleware Pool 3 Self Service Portal

 3.1 DBaaS Provisioning Database Software 3.1.1 DBaaS Using Snap Clone Based Database Provisioning Profile ZFS Storage Appliance and NetApp Storage System. 3.1.2 DBaaS Using RMAN Backup Based Database Provisioning Profile Database backups created by RMAN (Recovery Manager) are stored as image copies or backup sets. 3.1.3 DBaaS Using DBCA Template Based Database Provisioning Profile Create a database provisioning profile using a DBCA Template 3.2 Schema as a Service 3.3 Pluggable Database for DBaaS (Oracle 12c Only)

4 Database Provisioning Profile  4.1 Snapshots  4.2 RMAN Backup  4.3 Existing RMAN Backup  4.4 DBCA Template  4.5 Export Schema Objects

5 Database Service Template

 5.1 Snap Clone profile  5.2 RMAN Backup profile  5.3 DBCA Template Profile

6 Chargeback

通过自服务门户申请DBaaS Requesting Databases, Pluggable Databases, and Schemas

数据库自服务门户

1，申请数据库

2，申请Schema

3，申请PDB

私有DBaaS 可用性服务级别 Based on Maximum Availability Architecture Global targets for RTO and RPO GOLD 核心关键业务

Continuous availability Zero application outage Zero data loss

SILVER 重要业务

High availability Seconds to minutes of downtime Near-zero or zero data loss

BRONZE 一般业务

Basic availability Minutes to days of downtime Data restore to last backup

• -------• -------• --------

私有DBaaS 青铜服务 Basic Availability for non-critical workloads  Entry point for Service Delivery

solutions RAC One Node

Off-site tape storage for archival and DR (on premise / cloud)

– Load balancing and agility  RAC One Node  Oracle EE

Backups

Cloud

– Data corruption prevention  DB parameters, ASM,

RMAN, DBVerify – Backups protect against

media and site failures – Secure offsite tape storage

for archival and DR 40

Private DBaaS 白银服务 High Availability for business-critical workloads Bronze, plus: Site A

Site B

– Oracle RAC

RAC

 Server and instance HA

 Database and site HA/DR

Active Data Guard

– Data Guard Backups

Backups Active Data Guard Data Guard Active Data Guard

– Active Data Guard – Site Guard  Higher protection against

corruption and loss – Data Guard – Active Data Guard

Private DBaaS 黄金服务 Targets Continuous Availability for Mission-critical services Global Data Services Site A

Silver, plus: Site B

Application Continuity RAC

RAC

– Application Continuity

Active Data Guard Backups

 Zero application outage

Backups

 Zero data loss over WAN – Active Data Guard Far Sync

Active Data Guard

 Zero downtime maintenance – Oracle GoldenGate

Active Data Guard

 Automated workload

management for replicas

GoldenGate 42

– Global Data Services

高可用数据库云方案

Oracle Maximum Availability Architecture SPARC

SPARC DBaaS实例部署

RAC

C’

D’

RAC

E’

M Redo reply

RAC

M DATA GUARD

A’

RAC

B’

SQL reply

2 Cores 4 Cores 8 Cores 12 Cores

Dedicated Instance Shared Instance

服务级别

主站点

备站点

一般业务 Bronze 重要业务 Silver

核心关键业务 Gold

RAC

计算节点

RAC

Small Medium Large X-Large

Schema 2 Schema 4 Schema 6 Schema x

Schema 2 Schema x

计算节点

数据库资源分配

Schema 1 Schema 3 Schema 5 Schema 7

Schema 1 Schema 3

DATA GUARD

多实例共享或专用集群架构快速调整部署

1-1 ASM to Server

Shared Disk Groups

Oracle RAC Servers

Database Instance

ASM Instance

Database

Disk1

Database

ASM Cluster Pool of Storage

Wide File Striping

ASM Instance

Database

Disk Group B

Disk Group A

Database Instance

Disk 2

File 3

File 4

File 1

File 2 Disk 3

Disk 4

Disk 5

Disk 6

Disk 7

Service组织Server Pool中的资源分配  Policy-Managed (11.2 以后版本，按server pool管理数据库)  Uniform服务跑在server pool上面的所有实例上  Singleton服务只跑在某一个实例上(DW)

 Admin-Managed （兼容11.2以前版本，按节点管理数据库）  Preferred和Available Instances (ERP和CRM互相规避) Admin-Managed

ERP preferred

ERP available OLTP

DW CRM

RAC 11gR1

RAC 11gR2 User-defined Server pool CRM available

Free

Generic

CRM preferred Policy-Managed

1, User-defined Server Pool; 2, Free Server Pool;

3, Generic Server Pool

RAC数据库池化资源管理 Oracle 11g R2

Policy Min : 3 Max : 6 Importance : 30

Policy Min : 2 Max : 4 Importance : 20

Policy Min : 1 Max : 3 Importance : 10

ERP Server Pool

HR Server Pool

DW Server Pool

Free Server Pool

RAC1

RAC2

RAC3

Free

Oracle Grid Infrastructure / Clusterware Oracle ASM DG

*提示：此架构对网络带宽，存储带宽要求比较高。建议：1，使用DIO方式；2，IB网络互连；3，适量的虚拟机数量；4，存储多机头、多控制器、适宜的托盘数量

RAC Server pool

Admin-Managed

Policy-Managed

Server Pool 策略管理

RAC 添加节点

RAC 删除节点

数据库备份管理（RMAN to Disk，OSB to Tape）

服务目录规划 Pre-defined templates for balanced configurations XS

XXL

CPU_COUNT

SGA

256

512

1024

2048

5096

1 TB

PGA Disk

Customer Case Study #1

Large commercial bank

Effective service catalogs can be very simple

• -------• -------• --------

Use Case

Business Catalog

Production / Test

Mission Critical

Availability DR

Cost model

Monthly pay-as-you go for CPU

Database

Technical Catalog

Platinum Service

Designed for maximum availability Scheduled downtime (not always taken) Most maintenance online

• -------• -------• -------• -------• -------• --------

Oracle as a Service

Platinum Service

Schema in Oracle RAC

Dedicated RAC DB in shared cluster

Active Data Guard async

Backup

RMAN and Flashback

Customer Case Study #2

Global insurance company

Some high-end services may require a dedicated flex-silo

Hardware Infr

Entry level

Business level

Advanced

Shared cluster

Dedicated cluster

Grid 11.2.0.3 (CRS and ASM), Database EE 11.2.0.3, RMAN, EM 12c Cloud Control

Software Infr No DR software

Data Guard

Availability Level Database Implementation 54

ÂŠ 2013 Oracle Corporation

One

Two

Three

Single Instance in a one-server pool

RAC One Node in two-server pool

Two-node RAC in two-server pool

Customer Case Study #3

U.S. government agency Technical catalog should be detailed

Database 11gR2 (only)

Bronze

Silver

RAC One Node

Platinum RAC

Dual

Database files mirror

Triple No

Remote Replication

Data Guard Async Yes

Network isolation, no SPOF No

Exadata FRA

Optional

Yes

Exadata Smart Scan + Index Exadata Smart Flash Cache

Gold

Read No

On-line backup

Yes

Backup and recovery

Tape

Disk

Database Vault

Standard features

Advanced Security, Internal Data Encryption , Advanced Compression

Options

App to DB Server encryption , RAT

Optional

Yes

Customer Case Study #3

U.S. government agency

Service Level X Footprint = monthly charge DBaaS Environment ď&#x201A;§ Monthly charge based on service

level and database size ď&#x201A;§ Options for increased storage and

memory:

Storage

200 GB

$182.04

Memory

1 GB

$145.07

Silver Extra Small Silver Small Silver Medium Silver Large Gold Extra Small Gold Small Gold Medium Gold Large Platinum Extra Small Platinum Small Platinum Medium Platinum Large

Unit Price / month $2,144.82 $4,289.63 $8,500.55 $16,843.68 $2,307.06 $4,614.13 $9,143.59 $18,117.86 $4,614.13 $7,509.54 $14,862.98 $29,413.73

Cost/yr $25,738 $51,476 $102,007 $202,124 $27,685 $55,370 $109,723 $217,414 $55,370 $90,115 $178,356 $352,965

端到端的软硬系统一体化管理从软件应用到硬件系统，全数据中心支持 Enterprise Manager Cloud Control

My Oracle Support

Enterprise Manager OpsCenter

应用系统管理

CC Agent

数据中心运维

ILOM

云计算数据中心的统一运营管理

Cloud

应用整合部署海外分公司

国内总公司

国内分公司

应用集成平台总部数据中心

业务共享功能资源

资源区n

资源区n 资源区1

资源区1

总部硬件资源资源区n 资源区1

云服务管理

分布管理统一调度云服务资源分配

调度中心资源建设

云服务开发

集中部署 统一监控视图 调度各地区数据中心 主备系统切换 负载均衡 企业门户建设

管理中心

基础软件平台服务资源层

硬件基础服务资源层

云服务优化

异地数据中心

业务共享功能服务资源层

总部基础软件资源资源区n 资源区1

资源规划

广域网

香港基础软件资源资源区n 资源区1

香港硬件资源资源区n 资源区1

灾备中心(同城+异地) 应用服务资源层基础软件平台服务资源层硬件基础服务资源层

分布式部署 分别监控各地区中心 动态监控各种计算资源 自服务门户 服务目录建设 服务计费计量

Thank you