MobileNet V3如何比V2快？

Question

这是有关MobileNet V3的论文的链接。

MobileNet V3

根据本文，h-swish和Squeeze-and-excitation模块是在MobileNet V3中实现的，但它们旨在提高准确性，而无助于提高速度。

h-swish比swish更快，有助于提高准确性，但如果我没有记错的话，它比ReLU慢得多。

SE还有助于提高准确性，但是会增加网络参数的数量。

我想念什么吗？ 我仍然不知道通过上述在V3中实现的功能，MobileNet V3如何比V2更快。

我没有提到一个事实，他们也修改了网络的最后一部分，因为我计划使用MobileNet V3作为骨干网络，并将其与SSD层结合以用于检测目的，因此网络的最后一部分不会用过的。

可以在上述论文中找到的下表显示，V3仍比V2快。

物体检测结果进行比较

Answer 1

在分类任务上，MobileNetV3比MobileNetV2更快，更准确，但是在其他任务（例如对象检测）上不一定是正确的。 就像您自己提到的那样，它们在网络最深层进行的优化与分类变量最相关，并且从您引用的表中可以看出，mAP并不更好。

几件事要考虑：

• 确实，SE和h-swish都会使网络速度变慢。 SE添加了一些FLOP和参数，而h-swish添加了复杂性，两者都导致了一些延迟。 但是，两者都被添加，以使精度与延迟之间的权衡更好，这意味着延迟增加值得提高精度，或者您可以在减少其他内容的同时保持相同的准确性，从而减少总体延迟。 特别是关于h-swish，请注意，他们通常在张量较小的较深层中使用它。 它们较厚，但是由于分辨率（高度x宽度）的二次下降，因此它们总体上较小，因此h倾斜会减少延迟。
• 搜索架构本身（没有h-swish，甚至不考虑SE）。 这意味着它比“原始的” MobileNetV2更适合于任务，因为该体系结构是“较少的手工设计”，并且实际上已针对任务进行了优化。 您可以看到，例如，在MNASNet中，某些内核已增长到5x5（而不是3x3），并非所有扩展速率都是x6，依此类推。
• 他们对网络最深处所做的一项更改也与对象检测有关。 奇怪的是，当使用SSDLite-MobileNetV2时，原始作者选择保留最后的1x1卷积，其深度从320扩展到1280。尽管对于1000个类别的分类来说，这种数量的功能是有意义的，但对于80个类别的检测来说，这可能是多余的MNv3的用户说自己在第7页的中间（第二列的第一列的顶部）。