Appengine Apps与Google bot网络抓取工具

Question

我建立了一个appengine网络应用cricket.hover.in。 该网络应用包含大约15,000个链接的URL，但是即使启动了很长时间，也不会在Google上为任何页面建立索引。

我的根站点hover.in上的所有基本链接都在几分钟内被索引了。 但是我将根站点的相同链接主页放了很久。 但它没有用。

cricket.hover.in是否存在任何问题，或者机器人与Google App Engine是否存在任何问题，任何人都可以进行分析

实际使用Google网站管理员工具的实验室应用测试了该网址，返回的结果很好，HTML清晰可见。

但是在以下网址测试相同（cricket.hover.in）时，其显示出不同的失败结果

www.dnsqueries.com/en/googlebot_simulator.php

www.smart-it-consulting.com/internet/google/googlebot-spoofer/

但是，如果我在上述网址上测试了一些php或word按链接，则结果很好。

---

对不起，我所犯的错误，对不起我的误导。 域是cricket.trak.in/，从基础URL trak.in引用。 经过长时间的调查后，三心二意的错误没有找到解决问题的办法。 请检查此域名。

3天前提交的站点地图，几乎总共提交了22k uri，但是到今天为止，索引计数仍然为0。

其次cricket.trak.in本身不会返回15,000 uri，我的意思是，如果爬网的网站总数将返回15,000 uri。

Answer 1

好吧，在网络空间的这个角落，没有这样的域名cricket.hover.in。

$ dig cricket.hover.in.
; <<>> DiG 9.6.1-P2 <<>> cricket.hover.in.
;; ->>HEADER<<- opcode: QUERY, status: NXDOMAIN, id: 30665

我还要猜测，返回15k href s的URL被许多蜘蛛视为完全无用的垃圾邮件，即使它们可以访问它，它们也将忽略它。

Answer 2

您的网站是否有正确的站点地图 ，您是否将其推到Google和其他搜索引擎？ 我无法检查，因为http://cricket.hover.in给了我404，所以可能是DNS问题。 将浏览器指向该URL时会发生什么？