高效的 GraphQL 查询通过 GitHub 的 v4 API 检索存储库中的所有提交？

Question

我正在尝试为 GitHub 的 v4 GraphQL API 构建一个 GraphQL 查询，以从给定存储库中检索所有提交（无论分支如何）。

以github/training-kit存储库为例，我目前必须分几个步骤来执行此操作，即：

1. 使用此查询检索存储库的所有分支的列表（根据需要使用pageInfo重复查询以获取所有分支）：

{
  repository(owner: "github", name: "training-kit") {
    refs(first: 10, refPrefix: "refs/heads/", after: "") {
      totalCount
      edges {
        node {
          name
        }
      }
      pageInfo {
        hasNextPage
        endCursor
      }
    }
  }
}

2. 遍历分支列表，并为每个分支获取其提交历史记录。 在每个分支中，由于分页限制，我通常需要多次运行查询。 例如，这将是查询master分支以获取该分支的前 100 次提交：

{
  repository(owner: "github", name: "training-kit") {
    refs(query: "master", refPrefix: "refs/heads/", first: 1) {
      nodes {
        target {
          ... on Commit {
            history(first: 100) {
              nodes {
                oid
              }
              pageInfo {
                hasNextPage
                endCursor
              }
            }
          }
        }
      }
    }
  }
}

对我来说，这个解决方案效率低下，尤其是因为第 2 步。其中大多数提交将在许多分支中重复（更不用说我必须进行许多查询才能从一个分支中获取所有提交）。 一旦我从每个分支获得提交列表，我就必须对它们进行重复数据删除。 整个过程需要很多很多的查询和大量的重复工作。 但是，由于某些提交只能由某些分支访问，因此除了详尽地查询每个分支之外，我看不到其他方法。

谁能提出一个更有效的策略，更好地利用 GitHub GraphQL API从存储库中检索所有提交？

谢谢！

PS作为参考，我查看了以下问题，但似乎都没有回答我的问题：

一个。 Github GraphQL - 获取存储库的提交列表- 他们的目标只是从存储库的默认分支获取最新的n次提交，而不是所有提交而不考虑分支。

湾。 使用 graphql 从 github 提交统计信息- 这个问题只对默认分支感兴趣，它可能不包括所有提交。

c。 使用 GitHub GraphQL API v4 查询单个存储库中的所有提交- 只对master分支和如何进行分页感兴趣，而不是存储库的所有提交。

Answer 1

这是我基于 C# 的想法，关于如何解决这个问题，也许不是完全解决它，而是提高性能。 下面显示的代码解决了“在存储库的默认分支中检索所有提交”的问题，但是，它可以应用于 GitHub GraphQL 上几乎任何基于游标的分页场景。 我知道您的问题是关于“所有分支的所有提交，重复数据删除”，但是，我相信这种方法也可能对您有用。

查询大型存储库的固有问题是每页限制 100 个结果，并且您必须逐页迭代，因为每一页都包含 cursor 到下一页。 我已经解决了我的解决方案中的光标识别问题，并且通过同时发送所有页面请求减少了整体执行时间。

这个想法是创建一个对 GitHub GraphQL API 的初始请求，仅获取给定过滤器的总数。 我假设我们每页会获取 100 个结果。 由于 GitHub 提交页面游标始终采用“xX9XXXXXXX3961722145Xf39cc9617XXXXxxx 99”格式，其中第一部分是第一次提交 oid（第一页的第一次提交-所有页面上的所有游标都使用此 oid-迭代时不会更改)，并且 99 是上一页的最后一次提交的顺序号（基于 0 的索引），只需发出“totalCount”请求，就可以很容易地计算出 670 次提交存储库的每一页的游标是多少：

1. null
2. “xX9XXXXXXX3961722145Xf39cc9617XXXXxxx 99”
3. “xX9XXXXXXX3961722145Xf39cc9617XXXXxxx 199”
4. “xX9XXXXXXX3961722145Xf39cc9617XXXXxxx 299”
5. “xX9XXXXXXX3961722145Xf39cc9617XXXXxxx 399”
6. “xX9XXXXXXX3961722145Xf39cc9617XXXXxxx 499”
7. “xX9XXXXXXX3961722145Xf39cc9617XXXXxxx 599”

生成标识每一页开头的游标后，我们可以为每一页准备一个单独的Task ，其中Task将包含对 GitHub GraphQL 的请求以获取一页，并使用Task.WhenAll将它们全部执行。

我已经在包含 670 次提交的存储库上对此进行了测试，总共大约 7 秒内获取了所有 7 个页面。 如果我遍历每一页，每页大约需要 4 秒，总共需要 25 - 30 秒。

需要注意的是，这没有在生产环境中进行测试，它不涉及错误处理，并且并行/并发实现很可能会得到改进，因此只能将其视为概念证明。 此外，当您发送对具有 100 或 1000 页提交的存储库的请求时，我不确定 GitHub API 将如何处理。

public async Task<List<Commit>> GetCommitsByPeriodAsync(Guid integrationId, DateTime since, string repositoryName, string repositoryOwner)
{
    string initialCursor = null;

    var firstPageInfo = await GetDefaultBranchCommitsFirstPageInfoAsync(since, initialCursor, repositoryOwner, repositoryName);
    var commitPagesCursors = GetCommitPagesCursors(firstPageInfo, initialCursor );

    var tasks = commitPagesCursors.Select(x => GetDefaultBranchCommitsPageByPeriodAsync(since, x, repositoryOwner, repositoryName));

    var results = await Task.WhenAll(tasks);
    var branchCommitsByPeriod = results.SelectMany(x => x.Commits)
                                       .ToList();

    return branchCommitsByPeriod;
}

private List<string> GetCommitPagesCursors(GetCommitsPageInfoResponse firstPageInfo, string initialCursor)
{
    // Two initial cursors will always be "null", and "oid 99" for 100 items pages
    var cursors = new List<string> { initialCursor, firstPageInfo.PageInfo.EndCursor };
    int totalCount = firstPageInfo.TotalCount;

    var firstCommitCursorSplit = firstPageInfo.PageInfo.EndCursor.Split(" ");
    var firstCommitId = firstCommitCursorSplit[0];

    var lastPageCommitNumberString = firstCommitCursorSplit[1];

    // TO DO: handling TryParse failure scenario
    int.TryParse(lastPageCommitNumberString, out int lastPageCommitNumber);

    // 100 is the max number of objects in a page
    lastPageCommitNumber += 100;

    while (lastPageCommitNumber < totalCount)
    {
        string nextPageCursor = $"{firstCommitId} {lastPageCommitNumber}";
        cursors.Add(nextPageCursor);

        lastPageCommitNumber += 100;
    }

    return cursors;
}

public async Task<GetCommitsPageInfoResponse> GetDefaultBranchCommitsFirstPageInfoAsync(DateTime since, string cursor, string repositoryOwner, string repositoryName)
{
    // Code omitted for brevity
    var commitsRequest = new GraphQLRequest
    {
        Query = @"
            query GetCommitsFirstPage($cursor: String, $commitsSince: GitTimestamp!, $repositoryName: String!, $repositoryOwner: String!) {
              repository(name: $repositoryName, owner: $repositoryOwner) {
                defaultBranchRef{
                  target {
                    ... on Commit {
                      history(after: $cursor, since: $commitsSince) {
                        totalCount
                        pageInfo {
                          endCursor
                          hasNextPage
                        }                      
                      }
                    }
                  }
                }
              }
            }",
        OperationName = "GetCommitsFirstPage",
        Variables = new
        {
            commitsSince = since.ToString("o"),
            cursor = cursor,
            repositoryOwner = repositoryOwner,
            repositoryName = repositoryName
        }
    };
    // Code omitted for brevity
}

public async Task<GetCommitsPageResponse> GetDefaultBranchCommitsPageByPeriodAsync(DateTime since, string cursor, string repositoryOwner, string repositoryName)
{
    
    // Code omitted for brevity

    var commitsRequest = new GraphQLRequest
    {
        Query = @"
            query GetCommitsSinceTimestamp($cursor: String, $commitsSince: GitTimestamp!, $repositoryName: String!, $repositoryOwner: String!) {
              repository(name: $repositoryName, owner: $repositoryOwner) {
                defaultBranchRef{
                  target {
                    ... on Commit {
                      history(after: $cursor, since: $commitsSince) {
                        pageInfo {
                          endCursor
                          hasNextPage
                        }
                        edges {
                          node {
                            oid
                            additions
                            deletions
                            commitUrl
                            url
                            committedDate
                            associatedPullRequests (first: 10) {
                                              nodes {
                                                id
                                                mergedAt
                                              }
                                            }
                            repository {
                              databaseId
                              nameWithOwner
                            }
                            author {
                              name
                              email
                              user {
                                login
                              }
                            }
                            message
                          }
                        }
                      }
                    }
                  }
                }
              }
            }",
        OperationName = "GetCommitsSinceTimestamp",
        Variables = new
        {
            commitsSince = since.ToString("o"),
            cursor = cursor,
            repositoryOwner = repositoryOwner,
            repositoryName = repositoryName
        }
    };
    // Code omitted for brevity
}