如何检查两个 URL 是否指向相同的路径？

Question

我正在构建一个 URL Shortener，我决定尽可能回收短 ID 以节省数据库空间。 如何检查 2 个 URL 是否指向相同的路径？

例如，假设用户为https://google.com/生成了一个简短的 URL 。

我的应用程序生成以下短 id： jkU3

因此，如果此用户访问https://tiny.url/jkU3我的快递服务器会将访问者重定向到https://google.com/ 。

This works like a charm, but know let's imagine another person visits https://tiny.url/ and generates a short URL for https://google.com . And another one comes and generates a short URL for https://www.google.com/ , and another one comes and generates one for https://www.google.com . 你明白了..

到目前为止，我的应用程序会浪费 4 个短 ID。

我怎样才能防止这种情况发生？ 有这个正则表达式吗？

这是我用于生成短 URL 的当前代码：

app.post("/", (req: Request, res: Response) => {
  const shortUrl: string = nanoid(4);
  const destination: string = req.body.destination;

  UrlSchema.create({
    _id: mongoose.Types.ObjectId(),
    origin: shortUrl,
    destination: destination,
  }).then(() => {
    // Unique Id
    res.json(shortUrl);
  });
});

Answer 1

在创建新条目之前，您可以检查工作目的地

const existing = await UrlSchema.findOne({destination:req.body.destination});
if(!existing){
    // create new
} else{
    // return same
}

这样，如果目标尚不存在，您将创建它。 如果存在以更好地匹配 URL，您可以删除 tariling 斜杠 (/)，

Answer 2

您列出了四个略有不同的 URL：

https://www.google.com
https://google.com
https://www.google.com/
https://google.com/

这些在技术上都不是相同的 https 请求，尽管听起来您想假设末尾的/是可选的，因此不会使其成为不同的目标 URL。

最后两个不保证与前两个是同一主机。 对于google.com和www.google.com ，它们是相同的主机，但不能保证所有可能的主机都是这种情况。

如果您想假设无论域是什么，这四个都属于同一主机，那么您只需在将 URL 放入数据库之前对其进行规范化，然后在分配新的缩短 ID 之前，在数据库中搜索URL 的标准化版本。

在这种情况下，您将删除www. 并删除任何尾部斜杠以创建 URL 的规范化版本。

function normalizeUrl(url) {
    // remove "www." if at first part of hostname
    // remove trailing slash
    return url.replace(/\/\/www\./, "//").replace(/\/$/, "");
}

标准化 URL 后，您可以在数据库中搜索标准化的 URL。 如果找到它，则使用现有的缩短器。 如果没有找到，则使用新生成的 shortId 将规范化版本添加到数据库中。

这是一个演示：

 function normalizeUrl(url) { // remove "www." if at first part of hostname // remove trailing slash return url.replace(/\/\/www\./i, "//").replace(/\/$/, ""); } const testUrls = [ "https://www.google.com", "https://www.google.com/", "https://google.com", "https://google.com/", ]; for (const url of testUrls) { console.log(normalizeUrl(url)); }

仅供参考，由于 DNS 中的主机名不区分大小写，您可能还需要强制主机名小写以使其正常化。 路径名称或查询参数可能区分大小写（有时是，有时不是）。

要包括主机区分大小写规范化，您可以使用以下命令：

 function normalizeUrl(url) { // remove "www." if at first part of hostname // remove trailing slash // lowercase host name return newUrl = url.replace(/\/\/www\./i, "//").replace(/\/$/, "").replace(/\/\/([^/]+)/, function(match, p1) { // console.log(match, p1); return "//" + p1.toLowerCase(); }); } const testUrls = [ "https://www.google.com", "https://www.google.com/", "https://google.com", "https://google.com/", "https://WWW.google.com", "https://www.Google.com/", "https://GOOGLE.com", "https://google.COM/", "https://www.Google.com/xxx", // this should be unique "https://google.COM/XXX", // this should be unique ]; for (const url of testUrls) { console.log(normalizeUrl(url)); }