http: assume data EOF if the connection terminates
[project/uclient.git] / uclient-http.c
index 7c5bc63..5e5f996 100644 (file)
@@ -19,6 +19,7 @@
 #include <ctype.h>
 #include <unistd.h>
 #include <stdint.h>
 #include <ctype.h>
 #include <unistd.h>
 #include <stdint.h>
+#include <fcntl.h>
 
 #include <libubox/ustream.h>
 #include <libubox/ustream-ssl.h>
 
 #include <libubox/ustream.h>
 #include <libubox/ustream-ssl.h>
@@ -41,6 +42,7 @@ enum request_type {
        REQ_HEAD,
        REQ_POST,
        REQ_PUT,
        REQ_HEAD,
        REQ_POST,
        REQ_PUT,
+       REQ_DELETE,
        __REQ_MAX
 };
 
        __REQ_MAX
 };
 
@@ -58,6 +60,7 @@ static const char * const request_types[__REQ_MAX] = {
        [REQ_HEAD] = "HEAD",
        [REQ_POST] = "POST",
        [REQ_PUT] = "PUT",
        [REQ_HEAD] = "HEAD",
        [REQ_POST] = "POST",
        [REQ_PUT] = "PUT",
+       [REQ_DELETE] = "DELETE",
 };
 
 struct uclient_http {
 };
 
 struct uclient_http {
@@ -71,6 +74,7 @@ struct uclient_http {
        struct ustream_ssl ussl;
 
        struct uloop_timeout disconnect_t;
        struct ustream_ssl ussl;
 
        struct uloop_timeout disconnect_t;
+       unsigned int seq;
 
        bool ssl_require_validation;
        bool ssl;
 
        bool ssl_require_validation;
        bool ssl;
@@ -104,6 +108,8 @@ static const char * const uclient_http_prefix[] = {
        [__PREFIX_MAX] = NULL
 };
 
        [__PREFIX_MAX] = NULL
 };
 
+static int uclient_http_connect(struct uclient *cl);
+
 static int uclient_do_connect(struct uclient_http *uh, const char *port)
 {
        socklen_t sl;
 static int uclient_do_connect(struct uclient_http *uh, const char *port)
 {
        socklen_t sl;
@@ -112,18 +118,18 @@ static int uclient_do_connect(struct uclient_http *uh, const char *port)
        if (uh->uc.url->port)
                port = uh->uc.url->port;
 
        if (uh->uc.url->port)
                port = uh->uc.url->port;
 
-       fd = usock(USOCK_TCP | USOCK_NONBLOCK, uh->uc.url->host, port);
+       memset(&uh->uc.remote_addr, 0, sizeof(uh->uc.remote_addr));
+
+       fd = usock_inet(USOCK_TCP, uh->uc.url->host, port, &uh->uc.remote_addr);
        if (fd < 0)
                return -1;
 
        if (fd < 0)
                return -1;
 
+       fcntl(fd, F_SETFL, fcntl(fd, F_GETFL) | O_NONBLOCK);
        ustream_fd_init(&uh->ufd, fd);
 
        ustream_fd_init(&uh->ufd, fd);
 
-       memset(&uh->uc.local_addr, 0, sizeof(uh->uc.local_addr));
-       memset(&uh->uc.remote_addr, 0, sizeof(uh->uc.remote_addr));
-
        sl = sizeof(uh->uc.local_addr);
        sl = sizeof(uh->uc.local_addr);
+       memset(&uh->uc.local_addr, 0, sl);
        getsockname(fd, &uh->uc.local_addr.sa, &sl);
        getsockname(fd, &uh->uc.local_addr.sa, &sl);
-       getpeername(fd, &uh->uc.remote_addr.sa, &sl);
 
        return 0;
 }
 
        return 0;
 }
@@ -186,6 +192,9 @@ static void uclient_notify_eof(struct uclient_http *uh)
                        return;
        }
 
                        return;
        }
 
+       if (uh->content_length < 0 && uh->read_chunked >= 0)
+               uh->uc.data_eof = true;
+
        uclient_backend_set_eof(&uh->uc);
 
        if (uh->connection_close)
        uclient_backend_set_eof(&uh->uc);
 
        if (uh->connection_close)
@@ -194,6 +203,7 @@ static void uclient_notify_eof(struct uclient_http *uh)
 
 static void uclient_http_reset_state(struct uclient_http *uh)
 {
 
 static void uclient_http_reset_state(struct uclient_http *uh)
 {
+       uh->seq++;
        uclient_backend_reset_state(&uh->uc);
        uh->read_chunked = -1;
        uh->content_length = -1;
        uclient_backend_reset_state(&uh->uc);
        uh->read_chunked = -1;
        uh->content_length = -1;
@@ -208,6 +218,7 @@ static void uclient_http_reset_state(struct uclient_http *uh)
 
 static void uclient_http_init_request(struct uclient_http *uh)
 {
 
 static void uclient_http_init_request(struct uclient_http *uh)
 {
+       uh->seq++;
        uclient_http_reset_state(uh);
        blob_buf_init(&uh->meta, 0);
 }
        uclient_http_reset_state(uh);
        blob_buf_init(&uh->meta, 0);
 }
@@ -319,6 +330,22 @@ static char *digest_unquote_sep(char **str)
        return start;
 }
 
        return start;
 }
 
+static char *digest_sep(char **str)
+{
+       char *cur, *next;
+
+       cur = *str;
+       next = strchr(*str, ',');
+       if (next) {
+           *str = next + 1;
+           *next = 0;
+       } else {
+           *str += strlen(*str);
+       }
+
+       return cur;
+}
+
 static bool strmatch(char **str, const char *prefix)
 {
        int len = strlen(prefix);
 static bool strmatch(char **str, const char *prefix)
 {
        int len = strlen(prefix);
@@ -413,8 +440,9 @@ uclient_http_add_auth_digest(struct uclient_http *uh)
        next = buf;
        while (*next) {
                const char **dest = NULL;
        next = buf;
        while (*next) {
                const char **dest = NULL;
+               const char *tmp;
 
 
-               while (isspace(*next))
+               while (*next && isspace(*next))
                        next++;
 
                if (strmatch(&next, "realm"))
                        next++;
 
                if (strmatch(&next, "realm"))
@@ -425,8 +453,18 @@ uclient_http_add_auth_digest(struct uclient_http *uh)
                        dest = &data.nonce;
                else if (strmatch(&next, "opaque"))
                        dest = &opaque;
                        dest = &data.nonce;
                else if (strmatch(&next, "opaque"))
                        dest = &opaque;
-               else
-                       return;
+               else if (strmatch(&next, "stale") ||
+                        strmatch(&next, "algorithm") ||
+                        strmatch(&next, "auth-param")) {
+                       digest_sep(&next);
+                       continue;
+               } else if (strmatch(&next, "domain") ||
+                        strmatch(&next, "qop-options"))
+                       dest = &tmp;
+               else {
+                       digest_sep(&next);
+                       continue;
+               }
 
                *dest = digest_unquote_sep(&next);
        }
 
                *dest = digest_unquote_sep(&next);
        }
@@ -509,6 +547,9 @@ uclient_http_send_headers(struct uclient_http *uh)
        if (uh->state >= HTTP_STATE_HEADERS_SENT)
                return;
 
        if (uh->state >= HTTP_STATE_HEADERS_SENT)
                return;
 
+       if (uh->uc.proxy_url)
+               url = uh->uc.proxy_url;
+
        ustream_printf(uh->us,
                "%s %s HTTP/1.1\r\n"
                "Host: %s\r\n",
        ustream_printf(uh->us,
                "%s %s HTTP/1.1\r\n"
                "Host: %s\r\n",
@@ -516,7 +557,7 @@ uclient_http_send_headers(struct uclient_http *uh)
                url->location, url->host);
 
        blobmsg_for_each_attr(cur, uh->headers.head, rem)
                url->location, url->host);
 
        blobmsg_for_each_attr(cur, uh->headers.head, rem)
-               ustream_printf(uh->us, "%s: %s\n", blobmsg_name(cur), (char *) blobmsg_data(cur));
+               ustream_printf(uh->us, "%s: %s\r\n", blobmsg_name(cur), (char *) blobmsg_data(cur));
 
        if (uh->req_type == REQ_POST || uh->req_type == REQ_PUT)
                ustream_printf(uh->us, "Transfer-Encoding: chunked\r\n");
 
        if (uh->req_type == REQ_POST || uh->req_type == REQ_PUT)
                ustream_printf(uh->us, "Transfer-Encoding: chunked\r\n");
@@ -531,6 +572,7 @@ uclient_http_send_headers(struct uclient_http *uh)
 static void uclient_http_headers_complete(struct uclient_http *uh)
 {
        enum auth_type auth_type = uh->auth_type;
 static void uclient_http_headers_complete(struct uclient_http *uh)
 {
        enum auth_type auth_type = uh->auth_type;
+       int seq = uh->uc.seq;
 
        uh->state = HTTP_STATE_RECV_DATA;
        uh->uc.meta = uh->meta.head;
 
        uh->state = HTTP_STATE_RECV_DATA;
        uh->uc.meta = uh->meta.head;
@@ -538,7 +580,7 @@ static void uclient_http_headers_complete(struct uclient_http *uh)
 
        if (auth_type == AUTH_TYPE_UNKNOWN && uh->uc.status_code == 401 &&
            (uh->req_type == REQ_HEAD || uh->req_type == REQ_GET)) {
 
        if (auth_type == AUTH_TYPE_UNKNOWN && uh->uc.status_code == 401 &&
            (uh->req_type == REQ_HEAD || uh->req_type == REQ_GET)) {
-               uclient_http_init_request(uh);
+               uclient_http_connect(&uh->uc);
                uclient_http_send_headers(uh);
                uh->state = HTTP_STATE_REQUEST_DONE;
                return;
                uclient_http_send_headers(uh);
                uh->state = HTTP_STATE_REQUEST_DONE;
                return;
@@ -547,7 +589,7 @@ static void uclient_http_headers_complete(struct uclient_http *uh)
        if (uh->uc.cb->header_done)
                uh->uc.cb->header_done(&uh->uc);
 
        if (uh->uc.cb->header_done)
                uh->uc.cb->header_done(&uh->uc);
 
-       if (uh->eof)
+       if (uh->eof || seq != uh->uc.seq)
                return;
 
        if (uh->req_type == REQ_HEAD || uh->uc.status_code == 204) {
                return;
 
        if (uh->req_type == REQ_HEAD || uh->uc.status_code == 204) {
@@ -612,6 +654,7 @@ error:
 static void __uclient_notify_read(struct uclient_http *uh)
 {
        struct uclient *uc = &uh->uc;
 static void __uclient_notify_read(struct uclient_http *uh)
 {
        struct uclient *uc = &uh->uc;
+       unsigned int seq = uh->seq;
        char *data;
        int len;
 
        char *data;
        int len;
 
@@ -623,29 +666,37 @@ static void __uclient_notify_read(struct uclient_http *uh)
                return;
 
        if (uh->state < HTTP_STATE_RECV_DATA) {
                return;
 
        if (uh->state < HTTP_STATE_RECV_DATA) {
-               char *sep;
+               char *sep, *next;
                int cur_len;
 
                do {
                int cur_len;
 
                do {
-                       sep = strstr(data, "\r\n");
+                       sep = strchr(data, '\n');
                        if (!sep)
                                break;
 
                        if (!sep)
                                break;
 
+                       next = sep + 1;
+                       if (sep > data && sep[-1] == '\r')
+                               sep--;
+
                        /* Check for multi-line HTTP headers */
                        if (sep > data) {
                        /* Check for multi-line HTTP headers */
                        if (sep > data) {
-                               if (!sep[2])
+                               if (!*next)
                                        return;
 
                                        return;
 
-                               if (isspace(sep[2]) && sep[2] != '\r') {
+                               if (isspace(*next) && *next != '\r' && *next != '\n') {
                                        sep[0] = ' ';
                                        sep[0] = ' ';
-                                       sep[1] = ' ';
+                                       if (sep + 1 < next)
+                                               sep[1] = ' ';
                                        continue;
                                }
                        }
 
                        *sep = 0;
                                        continue;
                                }
                        }
 
                        *sep = 0;
-                       cur_len = sep + 2 - data;
+                       cur_len = next - data;
                        uclient_parse_http_line(uh, data);
                        uclient_parse_http_line(uh, data);
+                       if (seq != uh->seq)
+                               return;
+
                        ustream_consume(uh->us, cur_len);
                        len -= cur_len;
 
                        ustream_consume(uh->us, cur_len);
                        len -= cur_len;
 
@@ -662,8 +713,13 @@ static void __uclient_notify_read(struct uclient_http *uh)
        if (uh->eof)
                return;
 
        if (uh->eof)
                return;
 
-       if (uh->state == HTTP_STATE_RECV_DATA && uc->cb->data_read)
-               uc->cb->data_read(uc);
+       if (uh->state == HTTP_STATE_RECV_DATA) {
+               /* Now it's uclient user turn to read some data */
+               uloop_timeout_cancel(&uc->connection_timeout);
+
+               if (uc->cb->data_read)
+                       uc->cb->data_read(uc);
+       }
 }
 
 static void __uclient_notify_write(struct uclient_http *uh)
 }
 
 static void __uclient_notify_write(struct uclient_http *uh)
@@ -692,6 +748,10 @@ static void uclient_notify_state(struct ustream *us)
 {
        struct uclient_http *uh = container_of(us, struct uclient_http, ufd.stream);
 
 {
        struct uclient_http *uh = container_of(us, struct uclient_http, ufd.stream);
 
+       if (uh->ufd.stream.write_error) {
+               uclient_http_error(uh, UCLIENT_ERROR_CONNECT);
+               return;
+       }
        uclient_notify_eof(uh);
 }
 
        uclient_notify_eof(uh);
 }
 
@@ -786,6 +846,7 @@ static int uclient_setup_https(struct uclient_http *uh)
        uh->ussl.notify_error = uclient_ssl_notify_error;
        uh->ussl.notify_verify_error = uclient_ssl_notify_verify_error;
        uh->ussl.notify_connected = uclient_ssl_notify_connected;
        uh->ussl.notify_error = uclient_ssl_notify_error;
        uh->ussl.notify_verify_error = uclient_ssl_notify_verify_error;
        uh->ussl.notify_connected = uclient_ssl_notify_connected;
+       uh->ussl.server_name = uh->uc.url->host;
        uh->ssl_ops->init(&uh->ussl, &uh->ufd.stream, uh->ssl_ctx, false);
        uh->ssl_ops->set_peer_cn(&uh->ussl, uh->uc.url->host);
 
        uh->ssl_ops->init(&uh->ussl, &uh->ufd.stream, uh->ssl_ctx, false);
        uh->ssl_ops->set_peer_cn(&uh->ussl, uh->uc.url->host);
 
@@ -797,7 +858,7 @@ static int uclient_http_connect(struct uclient *cl)
        struct uclient_http *uh = container_of(cl, struct uclient_http, uc);
        int ret;
 
        struct uclient_http *uh = container_of(cl, struct uclient_http, uc);
        int ret;
 
-       if (!cl->eof || uh->disconnect)
+       if (!cl->eof || uh->disconnect || uh->connection_close)
                uclient_http_disconnect(uh);
 
        uclient_http_init_request(uh);
                uclient_http_disconnect(uh);
 
        uclient_http_init_request(uh);
@@ -899,7 +960,7 @@ uclient_http_set_header(struct uclient *cl, const char *name, const char *value)
 }
 
 static int
 }
 
 static int
-uclient_http_send_data(struct uclient *cl, char *buf, unsigned int len)
+uclient_http_send_data(struct uclient *cl, const char *buf, unsigned int len)
 {
        struct uclient_http *uh = container_of(cl, struct uclient_http, uc);
 
 {
        struct uclient_http *uh = container_of(cl, struct uclient_http, uc);
 
@@ -1003,10 +1064,14 @@ uclient_http_read(struct uclient *cl, char *buf, unsigned int len)
 
        uclient_notify_eof(uh);
 
 
        uclient_notify_eof(uh);
 
+       /* Now that we consumed something and if this isn't EOF, start timer again */
+       if (!uh->uc.eof && !cl->connection_timeout.pending)
+               uloop_timeout_set(&cl->connection_timeout, cl->timeout_msecs);
+
        return len;
 }
 
        return len;
 }
 
-bool uclient_http_redirect(struct uclient *cl)
+int uclient_http_redirect(struct uclient *cl)
 {
        struct uclient_http *uh = container_of(cl, struct uclient_http, uc);
        struct blobmsg_policy location = {
 {
        struct uclient_http *uh = container_of(cl, struct uclient_http, uc);
        struct blobmsg_policy location = {
@@ -1038,7 +1103,9 @@ bool uclient_http_redirect(struct uclient *cl)
 
        free(cl->url);
        cl->url = url;
 
        free(cl->url);
        cl->url = url;
-       uclient_http_connect(cl);
+       if (uclient_http_connect(cl))
+               return -1;
+
        uclient_http_request_done(cl);
 
        return true;
        uclient_http_request_done(cl);
 
        return true;
@@ -1070,6 +1137,7 @@ const struct uclient_backend uclient_backend_http = {
        .connect = uclient_http_connect,
        .disconnect = uclient_http_request_disconnect,
        .update_url = uclient_http_free_url_state,
        .connect = uclient_http_connect,
        .disconnect = uclient_http_request_disconnect,
        .update_url = uclient_http_free_url_state,
+       .update_proxy_url = uclient_http_free_url_state,
 
        .read = uclient_http_read,
        .write = uclient_http_send_data,
 
        .read = uclient_http_read,
        .write = uclient_http_send_data,