C＃多线程应用程序 - 结构？

Question

因此，如果链接可以访问（实时），我将创建一个检查链接的应用程序。 我的问题是如何使线程“总是忙”。 我的意思是：该应用程序运行100个线程（例如使用FOR循环创建），具有100个不同的URL。 因此，当其中一个线程完成它的工作（检查URL是否可用）以获取新URL并立即重新启动。 所以100个线程将不停地工作，直到检查所有URL。

我怎么能做到这一点？

Answer 1

您正在寻找的是生产者 - 消费者模型 。 您有一个资源池，其中包含要检查的URL列表，一个线程可以填充该池，并且您的conumer线程可以从该池中提取，如果您有.NET 4 Parallel.ForEach为您完成大部分工作。

使用100个线程也很可能不是最佳线程数，只需让Task Parallel Library为您管理线程数。

下面是一个示例，如果列表将预先填充，并且在线程运行时没有添加更多项目。

//Parallel.Foreach will block until it is done so you may want to run this function on a background worker.
public void StartThreads()
{
    List<string> myListOfUrls = GetUrls();

    Parallel.Foreach(myListOfUrls, ProcessUrl);
}


private void ProcessUrl(string url)
{
    //Do your work here, this code will be run from multiple threads.
}

如果需要在运行时填充集合，请将List<string>替换为BlockingCollection等并发集合

BlockingCollection<string> myListOfUrls = new BlockingCollection();

//Parallel.Foreach will block until it is done so you may want to run this function on a background worker.
public void StartThreads()
{
    if(myListOfUrls.IsComplete == true)
    {
        //The collection has emptied itself and you told it you where done using it, you will either need to throw a exception or make a new collection.
        //use IsCompleatedAdding to check to see if you told it that you are done with it, but there still may be members left to process.
        throw new InvalidOperationException();
    }

    //We create a Partitioner to remove the buffering behavior of Parallel.ForEach, this gives better performance with a BlockingCollection.
    var partitioner = Partitioner.Create(myListOfUrls.GetConsumingEnumerable(), EnumerablePartitionerOptions.NoBuffering);
    Parallel.ForEach(partitioner, ProcessUrl);
}

public void StopThreads()
{
    myListOfUrls.CompletedAdding()
}

public void AddUrl(string url)
{
    myListOfUrls.Add(url);
}

private void ProcessUrl(string url)
{
    //Do your work here, this code will be run from multiple threads.
}

---

我还想补充一点，自动线程调度可能也不是最好的，它可能会有一些可以扩展的限制，请参阅原始问题的评论

对于那些说/ upvoted 100线程的人是一个可怕的想法：在我的双核2GB RAM XP机器上Parallel.Foreach从未创建超过5个线程（除非我设置ThreadPool.SetMinThreads）并创建100个线程总是~30-40％更快的操作。 所以不要把所有东西留给Parallel.Foreach。 PS：我的测试代码WebClient wc = new WebClient（）; var s = wc.DownloadString（url）; （谷歌的主页） - LB

Answer 2

使用并行CTP的东西，包含的并行foreach方法将完全符合您的要求。

谷歌是你的朋友。

此外，使用100个线程可能不是最佳性能，但我会使用许多内核。

Answer 3

您可以使用ThreadPool并为其提供要处理的URL列表，然后让DoWork方法处理它们是否存在的检查，例如

 foreach (string s in URLs)
 {
       ThreadPool.QueueUserWorkItem(new WaitCallback(DoWork), s);
 }

 public void DoWork(object sender)
 {
       string url = (string)sender;
       //do stuff with url here
  }