只是谷歌的副本

Question

我想创建简单的搜索引擎，例如 Google 或 Bing。 Google 或 Bing 从什么获取数据？ 我可以从什么获取数据？

我将在 Spring 框架中创建它。

Answer 1

我不确定框架

但你需要的东西很少

1. 所有活动域列表（检查此https://whoisdatacenter.com/
2. 你需要一个 static IP 并告诉网站使用代理名称 --user-agent mybot
3. 你必须非常擅长 curl / sed/ awk/ grep
4. 例如，我正在使用我的机器人，当我在数据库的索引中执行 nmap / nslookup / 获取网站数据时，我只是告诉所有网站我是谁。
5. 不要使用像谷歌/雅虎这样的用户代理，你会被许多服务器阻止

PS：我也是一个新人......但不知何故我设法通过上述步骤完成我的工作。

有 184-2.1 亿个活跃域。 你需要一个强大的服务器。 我在 bash

Answer 2

Spring 有一个注解@Search(like=google)。 只需将它放在您的 controller 上，希望它会起作用。