调整的adm更改，吞吐量从4k下降到9条消息

Question

我有一个网络客户端和服务器应用程序。 数据流使得客户端向服务器发送消息，并且服务器以确认响应。 仅在收到确认后，客户端才会秒发下一条消息。

用C ++编写的客户端应用程序具有3个线程，即网络线程（负责通过套接字发送消息），主线程（负责发出请求消息）和计时器线程（每秒触发）。

服务器应用程序具有2个线程，主线程和网络线程。

我运行RHEL 6.3、2.6.32-279内核。

配置1

1. 调整的adm配置文件延迟性能
2. 所有客户端线程在同一CPU核心ID上
3. 所有服务器的线程都在相同的CPU核心ID上，但与客户线程的核心ID不同
4. 客户端和服务器在同一台计算机上运行

吞吐量：每秒4500条消息

配置2

1. tuned-adm配置文件吞吐性能
2. 所有客户端线程在同一CPU核心ID上
3. 所有服务器的线程都在相同的CPU核心ID上，但与客户线程的核心ID不同
4. 客户端和服务器在同一台计算机上运行

吞吐量：每秒9-15条消息

配置3

1. tuned-adm配置文件吞吐性能
2. 不同CPU核心ID上的所有客户端线程
3. 所有服务器线程在不同的CPU核心ID上以及客户端的线程在不同的核心ID上
4. 客户端和服务器在同一台计算机上运行

吞吐量：每秒1100条消息

机器的负载可以忽略不计。 当配置文件从延迟性能更改为吞吐量性能时，有人可以解释一下每秒4k到9条消息的下降。

Answer 1

这是RHEL tuned-adm配置文件之间差异的基本时间表：

延迟性能将I / O升降机移至截止日期，并将CPU调速器更改为“性能”设置。

吞吐量性能针对网络和磁盘性能进行了优化。 请参阅下面的详细信息...

您的工作负载似乎对延迟敏感。

这是带有注释的throughput-performance的设置。 latency-performance不会修改任何这些。

# ktune sysctl settings for rhel6 servers, maximizing i/o throughput
#
# Minimal preemption granularity for CPU-bound tasks:
# (default: 1 msec#  (1 + ilog(ncpus)), units: nanoseconds)
kernel.sched_min_granularity_ns = 10000000

# SCHED_OTHER wake-up granularity.
# (default: 1 msec#  (1 + ilog(ncpus)), units: nanoseconds)
#
# This option delays the preemption effects of decoupled workloads
# and reduces their over-scheduling. Synchronous workloads will still
# have immediate wakeup/sleep latencies.
kernel.sched_wakeup_granularity_ns = 15000000

# If a workload mostly uses anonymous memory and it hits this limit, the entire
# working set is buffered for I/O, and any more write buffering would require
# swapping, so it's time to throttle writes until I/O can catch up.  Workloads
# that mostly use file mappings may be able to use even higher values.
#
vm.dirty_ratio = 40