BERT权重计算

Question

我试图了解 BERT 权重计算。 请向我推荐一些可以帮助我了解 BERT 内部工作原理的文章。 我读过 Medium 的文章。

• https://towardsdatascience.com/deconstructing-bert-distilling-6-patterns-from-100-million-parameters-b49113672f77
• https://towardsdatascience.com/deconstructing-bert-part-2-visualizing-the-inner-workings-of-attention-60a16d86b5c1

我正在做一个小项目来了解来自不同来源的 Bert 预训练和微调。 我的想法是计算每个令牌在他们自己的来源中的权重并找到所有权重的平均值以获得全局 model。 那么这个全局的 model 可以在不同的源中进行微调。

• 我怎样才能找到这些权重，以及如何从多个来源平均这些权重？
• 我可以想象它吗？ 那怎么办？

另外，请注意，我正在尝试使用 Bert 实现的 Tensorflow 版本，并计划对 NER 任务进行微调。