[英]Concurrent HTTP requests in Haskell
我有一组函数,旨在从 Asana API 构建子任务树。 为此,我有一个名为“Asana.hs”的相当简单的模块,其最重要的两个功能是使用Network.HTTP.Simple
执行请求的功能:
getTasksForProject :: String -> String -> IO [Task]
getTasksForProject token projectId = getFromAsana token $ "projects/" ++ projectId ++ "/tasks"
getSubtasks :: String -> String -> IO [Task]
getSubtasks token taskId = getFromAsana token $ "tasks/" ++ taskId ++ "/subtasks"
问题是当我想构建我必须完成的所有任务的图表时:
例如,我有这些函数来构建节点和边的“图”:
type TaskGraph = ([Task], [Edge])
merge :: TaskGraph -> TaskGraph -> TaskGraph
merge (aTasks, aEdges) (bTasks, bEdges) = (aTasks ++ bTasks, aEdges ++ bEdges)
makeEdge :: Relation -> Task -> Task -> Edge
makeEdge rel parent child = Edge rel (taskId parent) (taskId child)
rFetchTaskGraph :: String -> Task -> IO TaskGraph
rFetchTaskGraph token task = do
subtasks <- getSubtasks token $ taskId task
let edges = map (makeEdge Subtask task) subtasks
foldr merge ([task], edges) <$> mapM (rFetchTaskGraph token) subtasks
这非常慢,因为据我所知,它会按顺序发出每个 HTTP 请求。 如果我在 Javascript 之类的东西中执行此操作,Promises 将允许我急切地执行所有计算,但将请求排队,因此仅在请求完成时解决相关的 Promise,但将并行性集中到某种连接池管理器中。
如何在 Haskell 中提高效率? 我有几个想法:
代替
mapM (rFetchTaskGraph token) subtasks
利用
mapConcurrently (rFetchTaskGraph token) subtasks
其中mapConcurrently
来自异步库。
但是,在发出并发 HTTP 请求时,应小心限制它们,以免压倒远程服务器或被它禁止。 一种简单的节流方法涉及使用信号量对rFetchTaskGraph
的所有调用进行门控,如本 SO 答案中所述。
因为rFetchTaskGraph
是递归的,它应该接受信号量作为参数,以便将它传递给它的子调用:
rFetchTaskGraph :: QSem -> String -> Task -> IO TaskGraph
rFetchTaskGraph sem token task =
bracket_
(waitQSem sem)
(signalQSem sem)
(do
subtasks <- getSubtasks token $ taskId task
let edges = map (makeEdge Subtask task) subtasks
foldr merge ([task], edges) <$> mapConcurrently (rFetchTaskGraph sem token) subtasks)
编辑:我认为前面的代码在实践中可能会导致死锁,因为关键部分的 scope 太大。 这样的事情应该会更好:
rFetchTaskGraph sem token task = do
subtasks <- bracket_ (waitQSem sem) (signalQSem sem) $ getSubtasks token $ taskId task
let edges = map (makeEdge Subtask task) subtasks
foldr merge ([task], edges) <$> mapConcurrently (rFetchTaskGraph sem token) subtasks
也就是说,仅将临界区限制为实际的 HTTP 请求。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.