如何解决XUnit测试失败的情况，在“全部运行”下的NLog目标中断言消息

Question

这是我的环境：

• Visual Studio 2017
• Project的.NET运行时版本是4.6.2
• XUnit版本2.3.1
• NLog版本4.4.12
• 流利断言4.19.4

这就是问题：

当我单独运行测试时，它们会通过，但是当我通过测试资源管理器中的“全部运行”按钮运行时，我会遇到故障，当重复运行后续失败的任务时，所有这些都会最终通过。 还想指出我没有并行运行测试。 测试的性质使得测试中的代码发出日志信息，最终以自定义NLog目标结束。 这是一个示例程序，可以运行以重现问题。

using FluentAssertions;
using NLog;
using NLog.Common;
using NLog.Config;
using NLog.Targets;
using System;
using System.Collections.Concurrent;
using System.IO;
using Xunit;

namespace LoggingTests
{
    [Target("test-target")]
    public class TestTarget : TargetWithLayout
    {
        public ConcurrentBag<string> Messages = new ConcurrentBag<string>();

        public TestTarget(string name)
        {
            Name = name;
        }

        protected override void Write(LogEventInfo logEvent)
        {
            Messages.Add(Layout.Render(logEvent));
        }
    }

    class Loggable
    {
        private Logger _logger;

        public Loggable()
        {
            _logger = LogManager.GetCurrentClassLogger();
        }

        private void Log(LogLevel level,
                         Exception exception,
                         string message,
                         params object[] parameters)
        {
            LogEventInfo log_event = new LogEventInfo();
            log_event.Level = level;
            log_event.Exception = exception;
            log_event.Message = message;
            log_event.Parameters = parameters;
            log_event.LoggerName = _logger.Name;
            _logger.Log(log_event);
        }

        public void Debug(string message)
        {
            Log(LogLevel.Debug,
                null,
                message,
                null);
        }

        public void Error(string message)
        {
            Log(LogLevel.Error,
                null,
                message,
                null);
        }

        public void Info(string message)
        {
            Log(LogLevel.Info,
                null,
                message,
                null);
        }

        public void Fatal(string message)
        {
            Log(LogLevel.Fatal,
                null,
                message,
                null);
        }
    }

    public class Printer
    {
        public delegate void Print(string message);
        private Print _print_function;

        public Printer(Print print_function)
        {
            _print_function = print_function;
        }

        public void Run(string message_template,
                        int number_of_times)
        {
            for (int i = 0; i < number_of_times; i++)
            {
                _print_function($"{message_template} - {i}");
            }
        }
    }

    public abstract class BaseTest
    {
        protected string _target_name;

        public BaseTest(LogLevel log_level)
        {
            if (LogManager.Configuration == null)
            {
                LogManager.Configuration = new LoggingConfiguration();
                InternalLogger.LogLevel = LogLevel.Debug;
                InternalLogger.LogFile = Path.Combine(Environment.CurrentDirectory,
                                                      "nlog_debug.txt");
            }

            // Register target:
            _target_name = GetType().Name;
            Target.Register<TestTarget>(_target_name);

            // Create Target:
            TestTarget t = new TestTarget(_target_name);
            t.Layout = "${message}";

            // Add Target to configuration:
            LogManager.Configuration.AddTarget(_target_name,
                                               t);

            // Add a logging rule pertaining to the above target:
            LogManager.Configuration.AddRule(log_level,
                                             log_level,
                                             t);

            // Because configuration has been modified programatically, we have to reconfigure all loggers:
            LogManager.ReconfigExistingLoggers();
        }
        protected void AssertTargetContains(string message)
        {
            TestTarget target = (TestTarget)LogManager.Configuration.FindTargetByName(_target_name);
            target.Messages.Should().Contain(message);
        }
    }

    public class TestA : BaseTest
    {
        public TestA() : base(LogLevel.Info)
        {
        }

        [Fact]
        public void SomeTest()
        {
            int number_of_times = 100;
            (new Printer((new Loggable()).Info)).Run(GetType().Name, 
                                                     number_of_times);
            for (int i = 0; i < number_of_times; i++)
            {
                AssertTargetContains($"{GetType().Name} - {i}");
            }
        }
    }

    public class TestB : BaseTest
    {
        public TestB() : base(LogLevel.Debug)
        {
        }

        [Fact]
        public void SomeTest()
        {
            int number_of_times = 100;
            (new Printer((new Loggable()).Debug)).Run(GetType().Name,
                                                     number_of_times);
            for (int i = 0; i < number_of_times; i++)
            {
                AssertTargetContains($"{GetType().Name} - {i}");
            }
        }
    }

    public class TestC : BaseTest
    {
        public TestC() : base(LogLevel.Error)
        {
        }

        [Fact]
        public void SomeTest()
        {
            int number_of_times = 100;
            (new Printer((new Loggable()).Error)).Run(GetType().Name,
                                                     number_of_times);
            for (int i = 0; i < number_of_times; i++)
            {
                AssertTargetContains($"{GetType().Name} - {i}");
            }
        }
    }

    public class TestD : BaseTest
    {
        public TestD() : base(LogLevel.Fatal)
        {
        }

        [Fact]
        public void SomeTest()
        {
            int number_of_times = 100;
            (new Printer((new Loggable()).Fatal)).Run(GetType().Name,
                                                     number_of_times);
            for (int i = 0; i < number_of_times; i++)
            {
                AssertTargetContains($"{GetType().Name} - {i}");
            }
        }
    }
}

上面的测试代码运行得更好。 按照消息进行一些早期的故障排除后，似乎我没有调用LogManager.ReconfigExistingLoggers(); 因为配置是以编程方式创建的（在测试类的构造函数中）。 这是LogManager源代码中的注释：

/// Loops through all loggers previously returned by GetLogger.
/// and recalculates their target and filter list. Useful after modifying the configuration programmatically
/// to ensure that all loggers have been properly configured.

之后所有测试都按预期运行，偶尔出现如下所示的故障：

我现在想知道在我的测试设置中是否还有其他更多的东西，或者这是一个NLog的错误。 任何关于如何修复我的测试设置或对设置进行故障排除的建议都是非常受欢迎的。 提前致谢。

---

更新

• 将List<LogData>更改为ConcurrentBag<LogData> 。 然而，这并没有改变问题。 问题仍然是消息没有及时到达收集。
• 重新设计问题并用一个实际的例子（可以运行以重现问题）替换以前的代码示例+问题的屏幕截图。
• 改进的测试运行得更好但偶尔因NLog本身的异常而失败（添加截图）。

Answer 1

上述问题恰好出现在VisualStudio中的XUnit Runner中。 尽管我已经“禁止并行测试”，但测试仍以某种方式并行运行。 @ rolf-kristensen指出另一个NLog问题（参考： https ： //github.com/NLog/NLog/issues/2525 ），他已经添加了以下内容：

[assembly: Xunit.CollectionBehavior(DisableTestParallelization = true)]

在AssemblyInfo.cs文件中。 此配置也在XUnit的页面上提到（参考： https ： //xunit.github.io/docs/running-tests-in-parallel.html - 更改默认行为）

Answer 2

你已经展示了非常随机的代码，以及关于什么是失败的非常随机的细节。 所以也许我的建议对你的问题没有意义。

您应该设置日志记录配置，而不是直接调用TestLogTarget ：

var target = new TestLogTarget() { Name = "Test" };
NLog.Config.SimpleConfigurator(target);
var logger = NLog.LogManager.GetCurrentClassLogger();
logger.Info("Hello World");

确保围绕对消息的访问添加lock 。 通过在持有lock同时制作ToArray() （或在持有lock同时调用Contains ）

请记住，NLog是一个全局引擎，需要在单元测试环境中特别努力，其中测试类，测试应用程序域被停止并经常启动，因此您需要了解您的单元测试系统和您的nlog系统来制作它们一起工作。