如何使用Foreach.Parallel遍历两个列表

Question

我面临着很大的困难，我想使用Parallel.Foreach遍历列表。

所以想象一下

static List<string> proxyList = new List<string>();
static List<string> websiteList = new List<string>();

每个列表看起来像这样

192.168.0.1
192.168.0.2
192.168.0.3
192.168.0.4

和网站列表

https://google.com
https://spotify.com
https://duckduckgo.com
https://amazon.com

我想实现这样的目标，但我不知道如何实现，无论我如何曲折转动，我似乎都找不到任何逻辑。

Foreach(var proxy in proxyList)
{
    If(proxyIsAlive)
        //Try to connect to the first website in the website list
    else
       //Try the next proxy until I get a working one 
       //and then try to connect to the most recent one
    }
 }

我面临的问题是我必须要想如何访问网站列表中的网站，我想连接到

编辑 ：到目前为止，这是我的逻辑

private static void Connect()
{
   string tproxy = "";
   int port;

   foreach (var website in websiteList)
   {
      foreach (var proxy in proxyList)
      {
         var proxySplit = proxy.Split(':');
         tproxy = proxySplit[0];
         port = Convert.ToInt32(proxySplit[1]);
         //if(ProxyIsAlive)

      }
      //Use that proxy down here to connect
   }
}

如果ProxyIsAlive返回true，我只想移出foreach的代理

Answer 1

注意事项：

• 这根据您的原始问题使用嵌套的并行
• 假设您要先检查最后一个好的代理
• 如果找到一个好的代理，它将更新成功时间
• 它并行处理每个网站和代理

注意 ：Parallel.ForEach适用于受CPU约束的任务，您需要注意，您不仅要浪费资源来阻塞线程以等待IO操作完成

用于保存代理信息的类

public class Proxy
{
   public string Host { get; set; }
   public int Port { get; set; }
   public DateTime LastSuccess { get; set; }

   public Proxy(string value)
   {
      var proxySplit = value.Split(':');
      Host = proxySplit[0];
      Port = Convert.ToInt32(proxySplit[1]);
      LastSuccess = DateTime.MinValue;
   }
}

要并行运行的代码

var proxies = proxyList.Select(x => new Proxy(x)).ToList();

Parallel.ForEach(webSites, new ParallelOptions { MaxDegreeOfParallelism = 4 }, site =>
   {
      Parallel.ForEach(proxies.OrderByDescending(x => x.LastSuccess), new ParallelOptions { MaxDegreeOfParallelism = 4 }, proxy =>
      {               
         if(!CheckProxy(proxy))
         {
            //check next proxy
            return;
         }
         // if we found a good proxy
         // update the lastSuccess so we check that first
         proxy.LastSuccess = DateTime.Now;
         // do something to the website 
      });
   });
}

注意 ：这可能不是最好的方法，如果您有CPU约束的代码，则并行性是合适的； 如果您有I / O绑定代码，则异步是合适的。 在这种情况下，HttpClientExtension.GetHttpResponse显然是I / O，因此理想的使用代码将是异步的。

我将考虑查找主题IO绑定操作的并行执行

现有的SO问题处理此

IO绑定操作的并行执行

大量I / O作业中的Parallel.ForEach与Async Forloop

Answer 2

所以这就是我最终要做的。

private static void ConnectToWebsite()
        {
            var proxyIP = "";
            int port;

            foreach (var website in WebsiteList)
            {
                foreach (var proxy in proxyList)
                {
                    var proxySplit = proxy.Split(':');
                    proxyIP = proxySplit[0];
                    var convert = Int32.TryParse(proxySplit[1], out port);
                    if(HttpClientExtension.GetHttpResponse(getCMYIP, proxyIP, port))
                        Console.WriteLine(website + proxy);
                }
            }
        }

这将检查代理，直到找到有效的代理为止。 现在，我需要使此异步操作加快速度。