C http O_NONBLOCK模式的问题？

Question

我正在学习小型http客户端的开发，尤其是使用带有HTTP / 1.1客户端的NONBLOCKING tcp套接字的整个复杂性。

下面的小代码似乎可以在linux上运行，但不能在我的mac os x 10.6.8 ..上运行。调试后，它似乎与send函数循环了？ linux和mac os x / freebsd之间的非阻止模式有什么区别？

这就是我收到的...

在端口80上连接到google.com（173.194.65.147）... ok GET / HTTP / 1.1主机：google.com用户代理：Mozilla / 5.0（Macintosh; Intel Mac OS X 10_6_8）AppleWebKit / 534.52.7（KHTML ，例如Gecko）版本/5.1.2 Safari / 534.52.7

发送失败：套接字未连接

有人可以帮助我了解此代码出了什么问题吗？

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <netdb.h>
#include <sys/socket.h>
#include <sys/types.h>
#include <arpa/inet.h>
#include <unistd.h>
#include <fcntl.h>
#include <errno.h>

void 
setSockNonBlock(int sock)
{
    int             flags;
    flags = fcntl(sock, F_GETFL, 0);
    if (flags < 0) {
    perror("fcntl(F_GETFL) failed");
    exit(EXIT_FAILURE);
    }
    if (fcntl(sock, F_SETFL, flags | O_NONBLOCK) < 0) {
    perror("fcntl(F_SETFL) failed");
    exit(EXIT_FAILURE);
    }
}

int 
getIP(const char *uri, char *hostname, struct in_addr * ip)
{
    char           *tmp;
    tmp = (char *) malloc(strlen(uri) + 1);
    strncpy(tmp, uri, strlen(uri) + 1);
    char           *p, *q;
    p = strstr(tmp, "http://");
    if (p == NULL) {
    p = tmp;
    } else {
    p = tmp + 7;
    }
    q = strstr(p, "/");
    if (q != NULL) {
    *q = '\0';
    } else {
    q = tmp + strlen(uri);
    }
    strncpy(hostname, p, q - p + 1);
    free(tmp);

    struct hostent *host;
    if ((host = gethostbyname(hostname)) == NULL) {
    fprintf(stderr, "gethostbyname failed, %s\n", hstrerror(h_errno));
    exit(EXIT_FAILURE);
    }
    int             i;
    for (i = 0; host->h_addr_list[i] != NULL; i++) {
    if (host->h_addrtype == AF_INET) {
        memcpy(ip, (struct in_addr *) (host->h_addr_list[i]), sizeof(struct in_addr));
        return 1;
    }
    }
    return 0;
}

int 
main(int argc, char *argv[])
{

    if (argc != 2) {
    fprintf(stderr, "USAGE: %s uri\n", argv[0]);
    exit(EXIT_FAILURE);
    }
    char           *uri;
    uri = argv[1];

    char           *hostname;
    hostname = (char *) malloc(strlen(uri) + 1);
    struct in_addr  ip;
    if (!getIP(uri, hostname, &ip)) {
    fprintf(stderr, "getIP for %s failed\n", uri);
    exit(EXIT_FAILURE);
    }
    char            ip_str[INET_ADDRSTRLEN];
    if (!inet_ntop(AF_INET, &ip, ip_str, INET_ADDRSTRLEN)) {
    perror("inet_ntop failed");
    exit(EXIT_FAILURE);
    }
    int             sock;
    if ((sock = socket(PF_INET, SOCK_STREAM, 0)) == -1) {
    perror("socket failed");
    exit(EXIT_FAILURE);
    }
    setSockNonBlock(sock);

    struct sockaddr_in serv_addr;
    memset(&serv_addr, 0, sizeof(serv_addr));
    serv_addr.sin_family = AF_INET;
    serv_addr.sin_addr = ip;
    serv_addr.sin_port = htons(80);
    if (connect(sock, (struct sockaddr *) & serv_addr, sizeof(serv_addr)) == -1 && (errno != EINPROGRESS)) {
    perror("connect failed");
    exit(EXIT_FAILURE);
    }
    printf("Connect to %s(%s) on port 80 ... ok \n", hostname, ip_str);

    char            request[1024] = "";
    char           *get;
    get = strstr(uri, hostname);
    if (get == NULL) {
    get = "/";
    } else {
    get += strlen(hostname);
    if (*get == '\0') {
        get = "/";
    }
    }

    sprintf(request, "GET %s HTTP/1.1\r\nHost: %s\r\nUser-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_6_8) AppleWebKit/534.52.7 (KHTML, like Gecko) Version/5.1.2 Safari/534.52.7\r\n\r\n", get, hostname);
    printf("%s\n", request);
    free(hostname);

    char           *p = request;
    int             remaining = strlen(request);
    ssize_t         sent_size;
    while (remaining) {
    sent_size = send(sock, p, remaining, 0);

    if (sent_size == -1 && (errno == EAGAIN || errno == EWOULDBLOCK)) {
        continue;
    }
    if (sent_size <= 0) {
        perror("sent failed");
        exit(EXIT_FAILURE);
    }
    remaining -= sent_size;
    p += sent_size;
    }

    char           *resp = NULL;
    int             resp_size = 0;
    char            buf[1024];
    ssize_t         recv_size;

    char           *tmp;
    while (1) {
    recv_size = recv(sock, buf, sizeof(buf), 0);
    if (recv_size == -1 && (errno == EAGAIN || errno == EWOULDBLOCK)) {
        continue;
    }
    if (recv_size <= 0) {
        break;
    }
    tmp = (char *) realloc(resp, resp_size + recv_size + 1);
    if (tmp == NULL) {
        fprintf(stderr, "Error: realloc failed, not enough memory to save response");
        if (resp) {
        free(resp);
        }
        exit(EXIT_FAILURE);
    }
    resp = tmp;

    tmp = resp + resp_size;
    memcpy(tmp, buf, recv_size);
    resp_size += recv_size;
    resp[resp_size] = '\0';
    if (strstr(resp, "</html>")) {
        break;
    }
    }
    if (resp) {
    printf("%s\n", resp);
    free(resp);
    }
    close(sock);
    return 0;
}

Answer 1

我怀疑您的问题是您正在执行非阻塞的connect（），但是立即陷入一些代码，这将花费几毫秒的时间来执行，然后尝试在可能尚未连接的套接字上发送。

您可以通过在连接后将sleep（）放在其中几秒钟来进行简单测试，以查看这是否是真正的原因。 但是更大的问题是，至少在目前，您没有任何令人信服的理由使用无阻塞套接字，因为您不会在任何情况下都不会阻塞。 例如，您的send循环除了检查返回码并尝试再次发送外，什么也不做。 您不妨阻止。 下一阶段可能是利用无阻塞的代码吗？

无论如何，请查看select（）或poll（） （以及诸如pselect ， ppoll ，...之类的朋友）。 这将有助于多路复用。

Answer 2

有什么理由要避免将现有的与HTTP相关的库（例如libcurl）用于HTTP客户端部分以及在HTTP服务器端使用D.Moreno的Onion或libmicrohttpd ？

编写自己的HTTP协议栈非常耗时！！！