元搜索引擎/ Web 在 Android Studio/JAVA 中抓取

Question

我想创建一个应用程序，该应用程序基本上使用来自各个网站的一些过滤器搜索某些内容（我不需要登录到那些第三方网站，因此可用的数据对公众开放）并将其显示在我的应用程序上。 我有几个问题：

1. 合法吗？
2. 这是 web 抓取还是元搜索引擎？
3. 我可以获得更多信息（任何 web 链接/文章）以了解更多信息吗？ 如何在技术上实现？ 我知道我们可以使用 XPath 技术进行刮擦的一种方法，但我想知道是否还有更多方法。 我不是要完整的代码。 只是如何开始/任何指导？

先感谢您 ！

Answer 1

首先，您需要了解搜索引擎的工作原理。 -我们所谓的搜索引擎（如谷歌）有特殊的程序，旨在从 web 中挖掘信息，它们被称为“蜘蛛”，蜘蛛所做的基本上是滚动搜索查询中的所有 web 页面并找到匹配信息，但这是一件非常复杂的事情要继续工作，需要非常好的代码和算法专业知识才能为自己开发蜘蛛。 不过，如果你能掌握这一点，你就会赚到一笔不菲的钱，但除非你是一个明目张胆的天才，否则这真的很少见！