HTTP 客戶端無法獲取頁面，而其他工具（wget/curl）可以

Question

Go 中的以下代碼無法獲取頁面，它得到 404 錯誤，而另一種語言（php+curl）的代碼與該頁面沒有問題。 這種行為的原因是什么？

package main

import (
     "fmt"
    "net/http"
)

func main() {
    client := http.Client {}
    req, err  := http.NewRequest("GET", "https://myhresschoolofmusic.com/", nil)

    resp, err := client.Do(req)
    if err != nil {
    fmt.Println(err)
    panic(err)
    }
    defer resp.Body.Close()

    fmt.Printf("%#v\n", resp)
}

此代碼的 Output

&http.Response{
Status:"404 Not Found", 
StatusCode:404, 
Proto:"HTTP/2.0",
 ProtoMajor:2, 
ProtoMinor:0, 
Header:http.Header{"Content-Length":[]string{"1245"}, 
"Content-Type":[]string{"text/html"}, 
"Date":[]string{"Wed, 20 Jan 2021 06:44:22 GMT"}, 
"X-Powered-By":[]string{"ASP.NET"}}, 
....

Answer 1

似乎該頁面對User-Agent header 和拒絕 Go net/http默認值Go-http-client/1.1非常挑剔。 使用類似瀏覽器的用戶代理值，例如：

req, err := http.NewRequest("GET", "https://myhresschoolofmusic.com", nil)
req.Header.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36")

它工作得很好。