繁体 English 中英

了解Windows上Web服务器上的高系统CPU使用率[关闭]

[英]Understanding high system CPU usage on web server on Windows [closed]

原文 2016-07-06 11:48:46 7 0 java/ windows/ drivers

注意我们对这篇文章有几个接近的投票。 我不确定为什么，因为没有人评论，但这个问题是关于我们的自定义编写的Java服务器及其对套接字读取的调用如何与Windows操作系统交互并产生这种高系统CPU使用率，因此我相信这是正确的论坛发布此问题而不是系统管理员区域。

我有一个自定义Java服务器，它提供几种不同类型的TCP连接（一些Web，一些是原始的），我们的一个客户遇到了偶尔出现高CPU +高系统CPU的问题。

我们可能已在我们的测试服务器上重现了这一点，该服务器在vmware上的Windows Server 2008上运行。

在从一个服务器到另一个服务器的故障转移期间或在导致许多客户端（40-80）同时重新建立连接的其他网络事件期间，我们发现CPU使用率很高，包括非常高的系统CPU（平均值> 50％，峰值超过70％）。 这些客户端通常将TCP套接字维护到服务器，因此在故障转移期间，我们可能会看到80-160个套接字正在重新连接和维护。

我们在其中一个时期使用kernrate进行分析，并且很难理解结果。

Kernrate报告了在此期间我们所期望的低空闲时间和高内核时间：

P0     K 0:00:39.405 (55.9%)  U 0:00:27.424 (38.9%)  I 0:00:03.603 ( 5.1%)  DPC
0:00:01.528 ( 2.2%)  Interrupt 0:00:00.327 ( 0.5%)
       Interrupts= 114880, Interrupt Rate= 1631/sec.

P1     K 0:00:37.596 (53.4%)  U 0:00:29.281 (41.6%)  I 0:00:03.556 ( 5.0%)  DPC
0:00:00.078 ( 0.1%)  Interrupt 0:00:00.624 ( 0.9%)
       Interrupts= 96016, Interrupt Rate= 1363/sec.

TOTAL  K 0:01:17.002 (54.7%)  U 0:00:56.706 (40.3%)  I 0:00:07.160 ( 5.1%)  DPC
0:00:01.606 ( 1.1%)  Interrupt 0:00:00.951 ( 0.7%)
       Total Interrupts= 210896, Total Interrupt Rate= 2994/sec.

Total Profile Time = 70434 msec

主机和客户都可以使用大量的物理ram，perfmon报告的页面错误从零到200 /秒，在70秒的800秒/秒期间可能有几个峰值。 Java堆设置为3GB，这在问题期间（或根本没有）接近边缘。 在此期间，我们不相信它正在进行垃圾收集。

                               BytesStart          BytesStop         BytesDiff.
Available Physical Memory   ,      6296776704,      6266650624,       -30126080
Available Pagefile(s)       ,     12591370240,     12577845248,       -13524992
Available Virtual           ,   8796052869120,   8796048171008,        -4698112
Available Extended Virtual  ,               0,               0,  0
Committed Memory Bytes      ,       305979392,       303964160,        -2015232
Non Paged Pool Usage Bytes  ,        81997824,        82333696,          335872
Paged Pool Usage Bytes      ,       164028416,       164057088,           28672
Paged Pool Available Bytes  ,      4147101696,      4149116928,         2015232
Free System PTEs            ,        33556099,        33556099,  0

我们已经做了一些努力来整合I / O调用并增加每个I / O操作的平均字节数。 一般来说，虽然它们似乎不太合理：

                              Total      Avg. Rate
Context Switches     ,       462496,         6566/sec.
System Calls         ,       835593,         11863/sec.
Page Faults          ,        32814,         466/sec.
I/O Read Operations  ,          747,         11/sec.
I/O Write Operations ,         3792,         54/sec.
I/O Other Operations ,        27565,         391/sec.
I/O Read Bytes       ,       382146,         512/ I/O
I/O Write Bytes      ,       684128,         180/ I/O
I/O Other Bytes      ,       890365,         32/ I/O

Kernrate报告了在NTOSKRNL模块中花费的绝大部分时间以及每秒近1000万个事件的速率：

OutputResults: KernelModuleCount = 131
Percentage in the following table is based on the Total Hits for the Kernel
ProfileTime   12806 hits, 65536 events per hit --------
 Module                                Hits   msec  %Total  Events/Sec
NTOSKRNL                              10561      70429    82 %     9827282
AMDPPM                                 1001      70429     7 %      931456
HAL                                     701      70429     5 %      652298
VMXNET3N61X64                           351      70428     2 %      326619
WIN32K                                   68      70428     0 %       63276
TCPIP                                    35      70428     0 %       32568
AFD                                      19      70428     0 %       17680
NETIO                                    17      70429     0 %       15818
VM3DMP                                   11      70428     0 %       10235
NTFS                                      6      70429     0 %        5583
NDIS                                      6      70429     0 %        5583
LSI_SAS                                   6      70429     0 %        5583
FLTMGR                                    6      70429     0 %        5583
VMMOUSE                                   5      70429     0 %        4652
I8042PRT                                  5      70429     0 %        4652
VMCI                                      3      70429     0 %        2791
CDD                                       2      70428     0 %        1861
DXGMMS1                                   1      70428     0 %         930
VMHGFS                                    1      70429     0 %         930
NSIPROXY                                  1      70428     0 %         930

随着NTOSKRNL模块的细分如下：

ProfileTime   10561 hits, 65536 events per hit --------
 Module                                Hits   msec  %Total  Events/Sec
KeSynchronizeExecution                 2485      70429    23 %     2312356
ExReleaseRundownProtectionCacheAwareEx       2099      70429    19 %     1953173

IoGetPagingIoPriority                  1561      70429    14 %     1452550
memmove                                1006      70429     9 %      936108
RtlDelete                               952      70429     9 %      885860
memset                                  448      70429     4 %      416875
ExfAcquirePushLockExclusive             326      70429     3 %      303351
PoStartNextPowerIrp                     280      70429     2 %      260547
RtlFindClearBits                        239      70429     2 %      222395
KeBugCheckEx                            199      70429     1 %      185174
KeWaitForMultipleObjects                 92      70429     0 %       85608
FsRtlTeardownPerFileContexts             67      70429     0 %       62345
KeSetTimer                               62      70429     0 %       57692
NtWaitForSingleObject                    59      70429     0 %       54901
wcsncat_s                                58      70429     0 %       53970

我在这里不明白的是，每秒看起来像是一个合理数量的I / O操作（如果我理解kernrate，那么<500 /秒？）转化为KeSynchronizeExecution ， ExReleaseRundownProtectionCacheAwareEx和IoGetPagingIoPriority数百万个事件，这些事件可能是高内核CPU的来源？

我已经搜索了有关这些功能的更多信息，但是有关他们所做的事情以及可以转化为高CPU使用率的信息很薄弱。