[转] Hyper-V如何避免NUMA對效能上的影響
本帖最后由 wuyvzhang 于 2016-8-2 17:25 编辑 <br /><br /> =========================================================NUMA在一般人使用Hyper-V時，是一個非常容易被忽略的部份
它的設定，在這裡
而這項功能為何會有降低整體效能的可能?
這裡有一份電子報，有介紹何謂NUMA架構，可以參考一下這張圖片
多核心計算環境—NUMA與CPUSET簡介
然而，這項技術，運用在虛擬化的主機時，如果是未經過計算的情況下，就有可能產生效能上的問題
因為，它在Hyper-V上運作會是像下圖
下面的圖片來源，是國外的IT人員的文章
下圖這樣的存取模式，在NUMA中又稱為本地端記憶體存取
然而，Virtual Machine在某些情況下，就會產生下圖的情況(像是Node1的Memory已經不足，而調用Node2的Memory)
又稱為非本地端記憶體存取
接下來的案例會展示這樣的一種情況
這是我這次測試的主機板Tyan S7016，是一個2 Socket Server 共18個DIMM
CPU的實體配置是Intel E5620兩顆(E5620實體核心數是四核心，開啟HT後，一顆是八個執行緒)
而18個DIMM則是插滿DDR3 ECC 8GB
所以一共會有16個Processor、144GB的Memory
所以，一個NUMA的節點將會是8個Processor、72GB的RAM
我們可以透過資料收集器，去得知目前的NUMA Node在Memory跟CPU的配置情況
※分頁的大小是4KB，18,874,272個分頁(4KB/個)，也就是71.99GB(少掉的那一點點應該是Hypervisor用掉了)
如果是18,874,368個分頁(4KB/個)，就是剛好72GB
然而Hyper-V在分配NUMA時，會自動盡可能的避免存取到非本地端記憶體的節點
一樣可以透過資料收集器，去取得目前虛擬機的NUMA配置節點，以及是否有用到非本地端記憶體
下圖就是一個使用到非本地端記憶體的案例(紅框處)
藍框的部份，則是該Virtual Machine所使用的主要NUMA節點是NUMA Node 0，沒有使用到非本地端記憶體
綠框的部份，則是該Virtual Machine所使用的主要NUMA節點是NUMA Node 1，沒有使用到非本地端記憶體
紅框的部份，則是該Virtual Machine所使用的主要NUMA節點是NUMA Node 0，使用了約9G多的非本地端記憶體
上面這個案例，是我先將記憶體在NUMA Node 0已使用約43GB、NUMA Node 1則是使用60GB的情況(這是自動分配的使用狀況)
然後，在將ServiceVM00006這部Virtual Machine以40GB RAM啟動
因為沒有任何一個Node符合可以使用完全非本地端記憶體，所以就會產生這個問題
但是實際上，我這部機器如果照這樣的設定，將VM全開一定要用到NUMA非本地端記憶體嗎?
其實是不用到的，我們可以先依據NUMA節點的記憶體配置以及CPU配置，來評估要如何手動配置VM該屬於哪一個NUMA節點
我們可以透過這個PowerShell去指派哪些VM該用哪一個NUMA Node的資源去啟動
這個PowerShell的來源是微軟官方Virtual Machine開發團隊的MSDN Blog提供的，網址如下：
相信小弟人品的，就請自行取用吧
view source
print?
01################################################
02# Developer: Anthony F. Voellm
03# : Taylor Brown
04# Copyright (c) 2008 by Microsoft Corporation
05# All rights reserved
06#
07# This is "demonstration" code and there are no
08# warrantees expressed or implied
09################################################
10
11
12
13# This script will set the Virtual Machine to run
14# on a specific NUMA node
15
16
17
18# Check command line arguments
19
20if (($args.length -lt 1) -or
21 (($args -ne "/list") -and
22 ($args -ne "/set") -and
23 ($args -ne "/clear")) -or
24 (($args -eq "/set") -and ($args.length -lt 3)) -or
25 (($args -eq "/clear") -and ($args.length -lt 2))) {
26 Write-Host "numa.ps1 /list []"
27 Write-Host "numa.ps1 /set []"
28 Write-Host "numa.ps1 /clear[]`n"
29 Write-Host "Options:"
30 Write-Host "`t/list - show configured VM's"
31 Write-Host "`t/set - set the NUMA node for the VM"
32 Write-Host "`t/clear- clear NUMA node seting for the VM"
33 exit;
34}
35
36
37
38# just display VM's
39if ($args -eq "/list") {
40if ($args.length -gt 1) {
41 $HyperVHost = $args;
42}
43Get-WmiObject -Namespace 'root\virtualization' -Query "Select * From Msvm_ComputerSystem" | select ElementName
44exit;
45}
46
47
48
49# Set or clear
50
51$HyperVHost = '.';
52if ($args -eq "/set") {
53if ($args.length -gt 3) {
54 $HyperVHost = $args;
55}
56$VMName = $args;
57$RequiredNode = $args;
58} elseif ($args -eq "/clear") {
59if ($args.length -gt 2) {
60 $HyperVHost = $args;
61}
62$VMName = $args;
63}
64
65
66#Main Script Body
67$VMManagementService = Get-WmiObject -Namespace root\virtualization -Class Msvm_VirtualSystemManagementService -ComputerName $HyperVHost
68
69
70$Query = "Select * From Msvm_ComputerSystem Where ElementName='" + $VMName + "'"
71
72
73$SourceVm = Get-WmiObject -Namespace root\virtualization -Query $Query -ComputerName $HyperVHost
74
75
76
77$VMSettingData = Get-WmiObject -Namespace root\virtualization -Query "Associators of {$SourceVm} Where ResultClass=Msvm_VirtualSystemSettingData AssocClass=Msvm_SettingsDefineState" -ComputerName $HyperVHost
78
79
80
81if ($args -eq "/set") {
82$VMSettingData.NumaNodesAreRequired = 1
83$VMSettingData.NumaNodeList = @($RequiredNode)
84} else {
85$VMSettingData.NumaNodesAreRequired = 0
86}
87
88
89
90$VMManagementService.ModifyVirtualSystem($SourceVm, $VMSettingData.PSBase.GetText(1)) 將以上程式碼，儲存成numa.ps1
接著，就可以用PowerShell，使用numa.ps1指定Virtual Machine該在哪一個NUMA Node上
而不再是自動分配，避免有可能產生本地端記憶體不夠配置的問題
指令的範例：
.\numa.ps1 /List可以取得Virtual Machine的名稱
.\numa.ps1 /Set VirtualMachineName 0，則是將這部Virtual Machine指派給NUMA Node 0
.\numa.ps1 /Clear VirtualMachineName，則是恢復自動指派
指派完畢，都是需要將Virtual Machine關機後再開機才會生效。
www.138891.com SO娱乐城：真_人.足球.彩票齐全| 开户送10元.首存送58元.手机可投匸注任何游戏顶级信用匸提现即时到账SO.CC
页:
[1]