从 TFS 克隆 git 存储库中删除大文件

Question

我的任务是将我们的 Team Foundation Server (TFS) 存储库迁移到 GitHub Enterprise (GHE) 机构并保持整个变更日志完好无损。 我正在使用具有以下语法的git-tfs 工具来创建主源分支的本地副本：

git tfs clone --all --with-labels <server>:8080/tfs/ $/<branch>

该过程大约需要 30 个小时，完成后我有一个 ~45 GB 的目录结构，其中包含一个 ~6 GB.git 存储库子结构。 当我尝试将其推送到我们的代理 GHE 时，我收到有关大文件的错误，因为该代理没有启用大文件存储，也没有启用它的计划。

我已将此事提请上级注意，并被指示“删除大文件并进行上传”。 我按照指示对所有大于 20 MB 的文件进行了审核，并拥有一个电子表格，我可以将其复制/粘贴到 Notepad++ 中，以编写删除过程的脚本。

我尝试了git rm然后git commit -m在较大的文件上，但我了解到这不起作用，因为更改日志仍然跟踪大文件。 git push to GHE 命令简单地返回了我之前看到的相同错误。

我的研究使我找到了几种解决方案，例如BFG Repo-cleaner和git filter-repo 。 这两个工具都需要存储库的 --mirror 副本，而 git-tfs 不支持。 Git-tfs 仅支持 --bare 选项，并且git 克隆的文档无法帮助我理解差异。 我知道两者都只是存储库目录而不是原始文件结构，但仅此而已。 我也不明白如何将没有文件结构的镜像本地副本推送到 GHE 中。

我已向我的领导层提出这些问题，并被指示：

1. git-tfs clone TFS 到本地
2. git clone --mirror将本地副本镜像到辅助本地副本
3. 尝试对辅助副本运行 BFG 或 git-filter-repo
4. ？？？ [我不知道这之后会发生什么]

我不清楚有几件事。

1. 镜像辅助是否仍然指向 TFS 作为原点？
2. 我是否必须将辅助本地推送到主本地，然后将主本地推送到 GHE，因为辅助没有文件结构？
3. 如何对变更日志进行审核以查看修改了什么以确保保留历史记录？ 我不想在 6 个月或一年后受到惩罚，因为开发人员正在寻找特定的更改但找不到。

Answer 1

你不应该需要镜像来使用git-filter-repo ，因为它可以在现有的 repo 上工作，并且git-tfs应该给你留下一个工作的 Git repo。 如果可以的话，我会备份整个 45(6) GB 存储库，然后您可以擦掉 TFS 部分的手。 你现在有一个 Git 存储库，你可以玩弄它，如果 go 坏了，你可以简单地删除它并从备份中恢复它。

备份后，我会尝试使用git-filter-repo删除大文件。 即使您没有新的克隆，您也可以使用--force选项。 还有一个删除大于特定大小的文件的选项，在您的情况下，您可以使用： --strip-blobs-bigger-than 20M 。 请注意， git-filter-repo比其他选项（以及git-tfs ）要快得多，因此进行多次传递是很常见的。 例如，您可以先删除所有大文件，然后再执行一遍以删除一些密码或其他不需要的更改（或整个提交）。

对于您的具体问题，您实际上不需要镜子这一事实使您的前两个问题无关紧要。 一旦您按照您想要的方式获得了您的存储库，您只需将其推送到您想要的任何 Git 主机中，例如 GitHub Enterprise。 对于你的第三个问题：

如何对变更日志进行审核以查看修改了什么以确保保留历史记录？

我过去这样做的方式是进行以下检查：

1. 首先比较 TFVC 存储库的最终 state 和新的 Git 存储库。 唯一的区别应该是新的 Git 存储库中缺少大文件，以及您可能进行的任何其他调整。
2. 抽查一些随机 TFVC 变更集及其相应的 Git 提交。 上次我这样做时，我随机挑选了大约 20 个变更集以确保它们都匹配，然后我要求一些开发人员也这样做，这有助于他们对转换充满信心。 您还可以随机选择一些 Git 提交，并且 go 也可以找到它们相应的 TFVC 变更集。
3. 抽查您知道在 Git 中修改的 TFVC 变更集（例如，删除了大文件）。 两者之间的唯一区别应该是大文件应该消失。 在 TFVC 变更集仅包含一个大文件的情况下，根本不应该有相应的 Git 提交。