Microsoft Azure

Microsoft Azure运算资源与管理架构

Fabric Controller 是管理微软数据中心的 Azure 运算资源的中控管理系统，扮演心脏的角色，它负责自动化的管理数据中心内所有的实体服务器，包含由用户要求的 Azure Guest OS 的部署工作，定时的Hotfix修补，机器状态回报，以及管理不同版本的VM部署影像的拷贝等重要内核工作，Fabric Controller 本身也具有高可用性，并且有一个管理 Fabric Controller 的子系统（称为"Utility" Fabric Controller）来管理与监控 Fabric Controller 的运作。

Fabric Controller也处理虚拟机的健康管理（Health Management）工作，当Windows Azure Guest OS发生当机时，会由Fabric Controller自动选择不同的实体机器重新部署与启动。当应用程序提交即地更新（In-place upgrade）时，Fabric Controller也负责即地更新的协调工作，以保持应用程序在更新时仍可保持SLA所承诺的服务水准。

RDFE (Red Dog's Front-End) 是 Azure 的前端接口，负责接取来自任何访问 Azure 的应用程序的命令，它是一组可控制与管理 Azure 服务的 REST APIs，对外置受应用程序的要求并回应，对内则是扮演大脑的角色，Azure 资源的配置策略与方式均是由 RDFE 所进行，包含虚拟机的 Fault Domain (失效域) 与 Upgrade Domain (更新域) 的配置与计算都是由 RDFE 处理。

Microsoft Azure网络与运算资源部署架构

Microsoft Azure 数据中心内部的架构自 2010 年正式上市开始就不断的与日俱进，早期 Azure 使用的是 DLA 网络架构，采用多层次分层的设计方式，由数据中心的路由器 (Internet 边界) 开始，接续第二层的访问路由器 (Access Router)，再接至第三层的聚合负载平衡器 (Aggregation Load Balancer)，最后到服务器所在的服务器机架顶的交换器 (Top-Of-Rack Switch)，虽然符合早期云端所需要的网络建设作法，但问题在于它并没有网络备援能力，当问题发生在主要节点如第二层或第三层的设备时，服务器将无法与外界连系，使服务中断，且使用 DLA 网络架构下的资源配置极限为 10000 台实体服务器，带宽为 120GB (平均一台只有 0.012GB 流量)，无法供给充足的网络带宽与性能给数据中心内的资源使用。

2012 年起，微软开始建构新的第二代数据中心网络建设，采用平滑化网络拓朴 (Flat Network Topology) 设计，代号为 Quantum10，其理论来源是 1952 年的 Clos 网络拓朴，在每个网络设备间都采用了网状的连接，亦即每个设备彼此之间都有备援能力，而且配置适当的网络节点设备，可以提供更大量的带宽与资源配置，Quantum10 的第一代可供应 30000 台服务器 30000GB 的流量 (平均一台 1TB 流量)。2013年更提升至 Quantum10 v2，可支持在不同服务群集 (例如运算群集与保存群集) 之间的网络通信，基于 Leaf-Spine 网络拓朴 [7]的特性，不论是走哪一条通信路径，其成本都是等价 (Equal-Cost Multipath, ECMP)，用来减少因网络扩展生成树 (Spanning Tree) 产生的网络负担，其资源供应可跨越不同群集，带宽也提升到 50000GB。

随着 Azure 服务愈来愈多元，其服务共用网络基础建设已经变成常态，为了要让各服务可顺畅访问网络功能 (例如与 Azure 虚拟网络的集成)，微软开始发展适用于数据中心的网络相关技术，并设计相关辅助资源。2015年微软在ACM SIGCOMM 提出了数个重要设计成果 [8]：

• Azure 智能网络卡 (Azure SmartNIC)，它采用了 FPGA 芯片辅助 CPU 进行网络流量的处理，可支持加密与远程内存直接访问 (RDMA) 的功能，降低 RDMA 花费在 CPU 上的运算时间。
• 虚拟过滤平台 (Virtual Filtering Platform)，使用于 Azure Hyper-V 内的 VMSwitch 组件，它可以在网络流量进入网络实体层前先进行处理，包括访问控制表、网络安全、虚拟网络与软件负载平衡等作业，并且支持 40GbE 以上的高速网络。
• 交换器抽象接口 (Switch Abstraction Interface, SAI)，定义了交换器操作系统的功能规格，目前已被开放运算项目(Open Compute Project)协会接受。
• Azure Cloud Switch，一种具备网络交换器能力的网络操作系统，基于交换器抽象接口所设计，使用微软自制的Linux操作系统[9]。
• 网络管理微服务化，以及软件定义网络的基础建设。

运算服务是以 Azure 内的服务器群经过虚拟化后形成的大量虚拟机 (Virtual Machine) 所组成的服务群，其主要功能是提供 CPU、内存等具有运算能力的资源。在 Azure 中的运算资源分成 IaaS 与 PaaS 两种：

• IaaS
  • Virtual Machine (VM): 提供标准与客制化后的虚拟机映像 (Images)，供用户于云端产生虚拟机使用，也可以利用上传映像的方式，使用客制化映像来生成虚拟机。Azure 可支持 Windows 与特定的 Linux 操作系统。
  • RemoteApp: 提供桌面虚拟化 (Desktop Virtualization) 的基础建设，企业可依需求产生缺省范本 (搭载 Office 应用程序) 或是上传自订的范本生成，其应用近似于在地端建设的 Remote Desktop Service VDI。
• PaaS
  • Cloud Service: 提供标准的操作系统映像，开发人员可使用 Azure SDK 开发程序，发行到 Cloud Service 内，适合具高度客制化的大型应用程序。
  • Service Fabric: 提供标准的操作系统映像，开发人员可使用 Azure Service Fabric SDK 开发微服务 (Microservice) 应用程序，可视为下一代的 Azure Cloud Service。
  • Azure Kubernetes Service (AKS): 提供以 Docker 容器格式为基础，并由微软维运 Kubernetes 集群，用以支持容器部署，调度与管理功能。
  • Azure Application Services，提布署网页应用程序的 Web Apps, 以及具无服务器 (Serverless) 应用开发能力的 Logic Apps 与 Functions 服务。

Microsoft Azure 为了要有效降低将应用程序移植到云端所需的负担，微软在 2012 年度的 Spring Release 中首次发布了 Azure Website 服务，支持 .NET 以及像 PHP、Java、Python、Ruby、node.js 等非微软平台，成功吸引开发网站的 Web 开发人员以及企业将其网站移转到 Azure，Azure Website 为 Virtual Machine 以外最受欢迎的 PaaS 服务。同年底，微软也发布了为行动应用程序 (Mobile App) 提供后台支持的 Mobile Service，以简单的管理机制与充份的 SDK 支持吸引行动应用开发人员使用，这两个服务在 2015 年时合并为 Azure App Service，并加入了发展 RESTful API 应用的 API App 以及以可视化设置运行流程控制的 Logic App。

为了要支持大型应用程序的发展，微软在 Azure 发布初期就提供了 AppFabric 服务，包含 Access Control Service 以及 Service Bus 功能，Access Control Service 负责统一帐户管理机制，后期也引入了 Social Identity 的功能，可与 Facebook, Google 等社群链接并共用其帐户；Service Bus 则是提供了消息转送 (Message Relay)、队列 (Queue) 与主题订阅 (Topics) 的功能，随后也加入了 Notification Hub 以支持对行动设备平台的消息发送功能。

保存数据是一个平台服务最基本的要求，Azure 在开发初期就提供了基本的保存 (Azure Storage) 与关系数据库 (SQL Azure)，保存服务提供了 Blob、Table 和 Queue 分别管理非结构化数据、结构化数据与消息通信，2014年添加 File 服务，以支持在云端虚拟机间的快速数据共享。

数据库服务 SQL Azure 为 SQL Server as a Service，提供大部份在地端的 SQL Server 数据库的能力，2013 年微软将 SQL Azure 正名为 Azure SQL Database，以提升品牌识别度，2014 年添加依交易量计费的 DTU 模式，以及新一代数据库引擎 V12，强化数据库的功能与效率，2015 年更提出了许多数据库的企业级应用，如 Elastic Pooling、SQL Data Warehouse 与和 SQL Server 2016 配合的 SQL Database Strerch Database 功能，使 SQL Database 更适合企业的应用。2017 年将 Database as a Service 扩大支持 MySQL 与 PostgreSQL 等数据库系统，2018 年添加依虚拟内核数计费的 vCore 模式，让用户更容易对应在原本服务器环境的硬件规格。

Azure Search 是微软为提升云端数据检索的功能而于 2014 年提供，搭配 Azure DocumentDB 实作出的数据检索服务。

Azure Redis Cache 为微软基于 Redis 开源项目所发展的分布式缓存服务，用以取代 2011 年的 Azure Shared Cache 以及 2012 年提出的 Azure Role-based Cache 服务，由于 Redis Cache 适用于许多平台与框架，使得 Azure Redis Cache 更容易被大众接受以作为分布式缓存基础建设。

Azure Cosmos DB 是微软于 Build 2017 所宣布的新型 NoSQL 数据库服务，可同时支持键值对 (Key-Value)、文档 (Document)、Column Family 与图形 (Graph) 等数据结构，并同时支持 Azure Table API, Mongo API, Cassandra API, DocumentDB SQL 与 Graph API 等不同的访问方式。

分析服务是 Microsoft Azure 一系列支持大数据与机器学习等与数据分析相关的服务集合，由数据的获取，分析到保存都有完整的解决方案。

• 数据获取：Azure Event Hub，由物联网设备获取信号或消息数据；Azure Data Factory 处理数据的转换；Azure Stream Analytics 处理在数据流动过程中的特征分析。
• 数据分析：Azure HDInsights 支持以 Apache Hadoop 为主的技术集合所支持的数据分析，包含 MapReduce、HDFS、HBase、Pig 等技术；Azure Machine Learning 支持以模型为主的数据分析与推断能力。
• 数据保存：Azure Data Lake 支持各种类型的数据，无上限的数据保存能力。

网络服务是 Microsoft Azure 对外通信与内部各类服务之间的数据通信基础建设，也是 Azure IaaS 的重要成员之一。

Azure 虚拟网络可允许组织或企业在云端建置自己的网络基础建设，包含子网络、IP配置、负载平衡器与网络安全原则等，同时可以建置 VPN 以串连企业网络与其他区域的虚拟网络，也可以利用 P2S VPN 串接个人用户端与虚拟网络。

为了要加速网络速度、隔离用户与 Internet 网络环境，Azure 提供 ExpressRoute 给用户以支持专属性 (Dedicated) 的 Azure 数据中心间通信。

对于具全球性的大型服务，Azure Traffic Manager 可协助发展大规模的负载平衡解决方案，将用户导向到全球各地离其最近的数据中心，并且也可支持跨局部的备援重导向。

Microsoft Entra ID 是 Microsoft Azure 上主要的身份识别与访问服务，是基于 HTTP 之业界标准 OAUTH 2.0 与 OpendID 协定的云端身分验证服务，由于传统使用 LDAP/Kerberos 验证协定的 Windows Server Active Directory 不易用于互联网与行动设备环境上身分验证，因此微软提供 Azure AD Connect 服务以处理 Windows Server Active Directory <-> Microsoft Entra ID 的帐户同步功能。Azure AD 也提供了多重要素验证 (Multi-Factor Authentication) 能力以支持需要多重方法验证的应用，Azure AD 的应用程序链接功能则提供了软件服务 (SaaS) 集成所需的身份验证能力。

Azure AD 提供 Azure AD B2C 服务让应用程序可以利用多种互联网上常用之身分验证机制 (例如 Microsoft Account，Google ID ，Facebook ID 等) 来进行进行身分验证，也提供 Azure AD 网域服务以减少企业在云端 Azure 环境内部署 Windows Server AD 网域控制站成本。

为支持 Web App 与行动 App 的记录、用户行为追踪与网络监控等需求，Azure 提供 Application Insights 可供开发人员实作所需的记录功能，Application Insights 也可作为协助监控网站存活的辅助服务。

Azure DevOps 提供云端的版本控制、自动化建造、自动化测试与部署等软件工程流程服务。

Azure App Center 可协助处理行动 App 内的用户回报，包含当机回报与用户意见回馈等。

管理服务是 Microsoft Azure 提供给 IT 与网络管理能力的服务。

• Scheduler 可允许 IT 人员上传指令脚本，以排定的时程运行。
• Automation 可允许 IT 人员上传指令脚本，以排定的流程运行，通常会搭配 Azure Scheduler。
• Operational Insights 会收集 Azure 内的作业稽核记录并提供洞察消息。
• KeyVault 可允许 IT 人员或应用程序通过 Azure AD 权限管制之下，访问以硬件加密 (HSM) 之密钥或凭证。
• Security Center 可提供 Azure 使用时的相关信息安全消息。
• Backup 能备份 Windows Server、Windows Client 与 Azure VM 以及其他支持服务的数据。
• Site Recovery 具备跨地端、云端到地端、云端之间的虚拟机备援服务。

• 阿根廷个人数据保护法 25326 号 (Argentina Personal Data Protection Act 25,326) [14]
• 美国刑事司法信息服务处 (CJIS) 信息安全政策 v5.4 [15]
• 美国国防信息系统局 (DISA) 影响等级 2 临时授权 (Provisional Authorization) [16]
• 美国国防部信息安全认证与认可流程 (DIACAP)
• 美国联邦风险与授权管理计划 (FedRAMP)
• 欧洲网络与信息安全局信息安全框架 (ENISA IAF)
• 欧洲示范条款 (EU Model Clauses)
• 美国家庭教育与隐私权法案 (FERPA)
• 美国联邦信息处理标准 (FIPS) 140-2
• 美国联邦信息安全管理法案 (FISMA)
• 新加坡多层次云端安全标准 (MTCS)
• 美国内部收益服务公报 (IRS) 1075
• 澳洲云端服务认证清单 (CCSL IRAP)
• 新西兰政府首席信息官认证 (NZ CC Framework)
• 英国政府云 (UK G-Cloud)
• 日本我的编号法案 (My Number Act)
• 日本云端安全标章 (Cloud Security Mark)
• 美国食品与药物管理局 (FDA) 联邦准则 (CFR) 21-11 (Title 21 Part 11)
• 中国 GB 18030
• 中国多层次保护方案 (MLPS) [17]
• 中国可信云服务认证 (TRUCS) [17]

• 云端安全联盟云端控制矩阵认证 (CSA CCM)
• 内容传递与安全协会 (CDSA)
• 财务产业信息系统中心 (FISC)
• 健康保险流通与责任法案 (HIPAA) HITECH
• ISO 27001
• ISO 27018
• 支付卡产业数据安全标准 (PCI-DSS) 等级 1 v3.0
• 共享评估计划
• 服务组织控制 (SOC) 类型 1, 2, 3