JavaScript：检测画布中的形状

Question

我发现了一个名为https://skinmotion.com/ 的应用程序，出于学习目的，我想创建自己的 Web 版本的应用程序。

Web 应用程序工作如下。 它要求用户获得访问相机的权限。 之后，视频被捕获。 每秒一次，从流中获取图像并进行处理。 在这个过程中，我在图像中寻找声波模式。

如果找到该模式，则视频录制停止并执行某些操作。

模式示例 - https://www.shutterstock.com/cs/image-vector/panorama-mini-earthquake-wave-on-white-788490724 。

理想情况下，它应该像使用二维码一样工作 - 即使检测到很小的二维码，它也不应该依赖于旋转和缩放。

我不是计算机视觉专家，这个领域对我来说相当陌生。 我需要帮助。 这样做的最佳方法是什么？

我应该训练我自己的 Tensorflow 数据集并使用 tensorflow.js 吗？ 或者有更简单、更“轻量”的选择吗？

我的问题是，我找不到或想出算法来处理捕获的图像以使其尽可能“具有可比性” - 将其放大，旋转，阈值到白色和黑色等。

我希望经过这种转换后，可以使用like.js来比较“原始”和“捕获”图像。

先感谢您。

Answer 1

通过深度学习

如果要识别某些波浪模式，则可以使用 tensorfow.js 编写分类模型。

然而，如果模型要识别一般的波浪模式，它可能会更复杂。 将使用对象检测模型。

没有深度学习

增加复杂性的是检测波形并从中播放音频。 在后一种情况下，可以逐字节读取图像。 波形图是用与图像背景不同的某种颜色绘制的。 可以识别感兴趣的区域并生成表示 wav 形式的数组。

然后从数组播放音频，这是可以做到如图所示这里