Parallel.ForEach和阻塞线程

Question

我使用Quartz.NET库创建了Windows Service应用程序，以计划作业以进行报告。 应用程序的主要部分是从不同位置（约260个）的数据库中获取一些数据，因此我决定使用Parallel.ForEach在中央位置并行获取和存储数据。

在Quartz.NET Job中，我从实用程序类运行并行处理的静态方法。

实用类：

public class Helper
{
    public static ConcurrentQueue<Exception> KolekcijaGresaka = new ConcurrentQueue<Exception>();   // Thread-safe

    public static void Start()
    {
        List<KeyValuePair<string, string>> podaci = Aktivne();  // List of data for processing (260 items)
        ParallelOptions opcije = new ParallelOptions { MaxDegreeOfParallelism = 50 };
        Parallel.ForEach(podaci, opcije, p =>
        {
            UzmiPodatke(p.Key, p.Value, 2000);
        });
    }

    public static void UzmiPodatke(string oznaka, string ipAdresa, int pingTimeout)
    {
        string datumTrenutneString = DateTime.Now.ToString("d.M.yyyy");
        string datumPrethodneString = DatumPrethodneGodineString();
        string sati = DateTime.Now.ToString("HH");

        // Ping:
        Ping ping = new Ping();
        PingReply reply = ping.Send(ipAdresa, pingTimeout);

        // If is online call method for copy data:
        if (reply.Status == IPStatus.Success)
        {
            KopirajPodatke(oznaka, ipAdresa, datumTrenutneString, datumPrethodneString, sati, "TBL_DATA");
        }
    }
    public static void KopirajPodatke(string oznaka, string ipAdresa, string datumTrenutneString, string datumPrethodneString, string sati, string tabelaDestinacija)
    {
        string lanString = "Database=" + ipAdresa + "://DBS//custdb.gdb; User=*******; Password=*******; Dialect=3;";
        IDbConnection lanKonekcija = new FbConnection(lanString);
        IDbCommand lanCmd = lanKonekcija.CreateCommand();

        try
        {
            lanKonekcija.Open();
            lanCmd.CommandText = "query ...";
            DataTable podaciTabela = new DataTable();

            // Get data from remote location:
            try
            {
                podaciTabela.Load(lanCmd.ExecuteReader());
            }
            catch (Exception ex)
            {
                throw ex;
            }

            // Save data:
            if (podaciTabela.Rows.Count > 0)
            {
                using (SqlConnection sqlKonekcija = new SqlConnection(Konekcije.DB("Podaci")))
                {
                    sqlKonekcija.Open();
                    using (SqlBulkCopy bulkcopy = new SqlBulkCopy(sqlKonekcija))
                    {
                        bulkcopy.DestinationTableName = tabelaDestinacija;
                        bulkcopy.BulkCopyTimeout = 5;  // seconds
                        bulkcopy.ColumnMappings.Add("A", "A");
                        bulkcopy.ColumnMappings.Add("B", "B");
                        bulkcopy.ColumnMappings.Add("C", "C");
                        bulkcopy.ColumnMappings.Add("D", "D");
                        try
                        {
                            bulkcopy.WriteToServer(podaciTabela);
                        }
                        catch (Exception ex)
                        {
                            throw ex;
                        }
                    }
                }
            }
        }
        catch (Exception ex)
        {
            KolekcijaGresaka.Enqueue(ex);
        }
        finally
        {
            lanCmd.Dispose();
            lanKonekcija.Close();
            lanKonekcija.Dispose();
        }
    }

应用程序大多数时候都可以工作（每天执行4次作业），但有时会卡住并挂起（通常在并行处理约200个项目时），从而阻塞了主线程，并且永远不会结束。 似乎来自并行处理的线程之一被阻塞并阻止了主线程的执行。 这可能是由死锁引起的吗？

如何确保没有一个线程阻止应用程序执行（即使没有成功获取数据）？ 上面的代码有什么问题？

Answer 1

如何确保没有一个线程阻止应用程序执行（即使没有成功获取数据）？ 上面的代码有什么问题？

Parallel.Foreach不是异步的，它仅并行执行每个迭代，因此它将等待每个操作完成后再继续。 如果您真的不愿意等待所有操作完成再返回调用者，请尝试使用Task工厂计划这些操作并默认使用线程池。

即

foreach(var p in podaci)
{
    Task.Factory.StartNew(() => UzmiPodatke(p.Key, p.Value, 2000));
}

或使用ThreadPool.QueueUserWorkItem或BackgroundWorker，无论您熟悉或适用于所需的行为。

这可能无法解决您的所有问题 ，只是无法响应的程序。 最有可能的是，如果您的代码确实存在问题，那么您的一个任务最终将引发异常，如果未处理，它将导致程序崩溃。 更糟糕的是，如果任务永不结束，您将有“卡住”的任务只是坐在那里，浪费资源。 但是，可能只是偶尔出现其中一种情况花费极长时间的情况。 在这种情况下，您可以根据需要进行处理（取消长任务，确保在安排更多任务之前先完成所有先前安排的任务等），并且任务并行库可以通过稍作修改即可支持所有这些情况。