fetch: print download status
[project/uclient.git] / uclient-http.c
index 045a772..9652fb8 100644 (file)
@@ -1,3 +1,20 @@
+/*
+ * uclient - ustream based protocol client library
+ *
+ * Copyright (C) 2014 Felix Fietkau <nbd@openwrt.org>
+ *
+ * Permission to use, copy, modify, and/or distribute this software for any
+ * purpose with or without fee is hereby granted, provided that the above
+ * copyright notice and this permission notice appear in all copies.
+ *
+ * THE SOFTWARE IS PROVIDED "AS IS" AND THE AUTHOR DISCLAIMS ALL WARRANTIES
+ * WITH REGARD TO THIS SOFTWARE INCLUDING ALL IMPLIED WARRANTIES OF
+ * MERCHANTABILITY AND FITNESS. IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR
+ * ANY SPECIAL, DIRECT, INDIRECT, OR CONSEQUENTIAL DAMAGES OR ANY DAMAGES
+ * WHATSOEVER RESULTING FROM LOSS OF USE, DATA OR PROFITS, WHETHER IN AN
+ * ACTION OF CONTRACT, NEGLIGENCE OR OTHER TORTIOUS ACTION, ARISING OUT OF
+ * OR IN CONNECTION WITH THE USE OR PERFORMANCE OF THIS SOFTWARE.
+ */
 #include <stdio.h>
 #include <ctype.h>
 #include <unistd.h>
@@ -23,6 +40,7 @@ enum request_type {
        REQ_GET,
        REQ_HEAD,
        REQ_POST,
+       REQ_PUT,
        __REQ_MAX
 };
 
@@ -39,21 +57,26 @@ static const char * const request_types[__REQ_MAX] = {
        [REQ_GET] = "GET",
        [REQ_HEAD] = "HEAD",
        [REQ_POST] = "POST",
+       [REQ_PUT] = "PUT",
 };
 
 struct uclient_http {
        struct uclient uc;
 
+       const struct ustream_ssl_ops *ssl_ops;
        struct ustream_ssl_ctx *ssl_ctx;
        struct ustream *us;
 
        struct ustream_fd ufd;
        struct ustream_ssl ussl;
 
-       bool ssl_ctx_ext;
+       struct uloop_timeout disconnect_t;
+
+       bool ssl_require_validation;
        bool ssl;
        bool eof;
        bool connection_close;
+       bool disconnect;
        enum request_type req_type;
        enum http_state state;
 
@@ -83,6 +106,7 @@ static const char * const uclient_http_prefix[] = {
 
 static int uclient_do_connect(struct uclient_http *uh, const char *port)
 {
+       socklen_t sl;
        int fd;
 
        if (uh->uc.url->port)
@@ -93,11 +117,20 @@ static int uclient_do_connect(struct uclient_http *uh, const char *port)
                return -1;
 
        ustream_fd_init(&uh->ufd, fd);
+
+       memset(&uh->uc.local_addr, 0, sizeof(uh->uc.local_addr));
+       memset(&uh->uc.remote_addr, 0, sizeof(uh->uc.remote_addr));
+
+       sl = sizeof(uh->uc.local_addr);
+       getsockname(fd, &uh->uc.local_addr.sa, &sl);
+       getpeername(fd, &uh->uc.remote_addr.sa, &sl);
+
        return 0;
 }
 
 static void uclient_http_disconnect(struct uclient_http *uh)
 {
+       uloop_timeout_cancel(&uh->disconnect_t);
        if (!uh->us)
                return;
 
@@ -118,10 +151,21 @@ static void uclient_http_free_url_state(struct uclient *cl)
        uclient_http_disconnect(uh);
 }
 
+static void uclient_http_error(struct uclient_http *uh, int code)
+{
+       uh->state = HTTP_STATE_ERROR;
+       uh->us->eof = true;
+       ustream_state_change(uh->us);
+       uclient_backend_set_error(&uh->uc, code);
+}
+
 static void uclient_notify_eof(struct uclient_http *uh)
 {
        struct ustream *us = uh->us;
 
+       if (uh->disconnect)
+               return;
+
        if (!uh->eof) {
                if (!us->eof && !us->write_error)
                        return;
@@ -142,6 +186,7 @@ static void uclient_http_reset_state(struct uclient_http *uh)
        uh->read_chunked = -1;
        uh->content_length = -1;
        uh->eof = false;
+       uh->disconnect = false;
        uh->connection_close = false;
        uh->state = HTTP_STATE_INIT;
 
@@ -464,12 +509,14 @@ uclient_http_send_headers(struct uclient_http *uh)
        blobmsg_for_each_attr(cur, uh->headers.head, rem)
                ustream_printf(uh->us, "%s: %s\n", blobmsg_name(cur), (char *) blobmsg_data(cur));
 
-       if (uh->req_type == REQ_POST)
+       if (uh->req_type == REQ_POST || uh->req_type == REQ_PUT)
                ustream_printf(uh->us, "Transfer-Encoding: chunked\r\n");
 
        uclient_http_add_auth_header(uh);
 
        ustream_printf(uh->us, "\r\n");
+
+       uh->state = HTTP_STATE_HEADERS_SENT;
 }
 
 static void uclient_http_headers_complete(struct uclient_http *uh)
@@ -490,7 +537,10 @@ static void uclient_http_headers_complete(struct uclient_http *uh)
        if (uh->uc.cb->header_done)
                uh->uc.cb->header_done(&uh->uc);
 
-       if (uh->req_type == REQ_HEAD) {
+       if (uh->eof)
+               return;
+
+       if (uh->req_type == REQ_HEAD || uh->uc.status_code == 204) {
                uh->eof = true;
                uclient_notify_eof(uh);
        }
@@ -552,7 +602,7 @@ static void __uclient_notify_read(struct uclient_http *uh)
        char *data;
        int len;
 
-       if (uh->state < HTTP_STATE_REQUEST_DONE)
+       if (uh->state < HTTP_STATE_REQUEST_DONE || uh->state == HTTP_STATE_ERROR)
                return;
 
        data = ustream_get_read_buf(uh->us, &len);
@@ -586,6 +636,9 @@ static void __uclient_notify_read(struct uclient_http *uh)
                        ustream_consume(uh->us, cur_len);
                        len -= cur_len;
 
+                       if (uh->eof)
+                               return;
+
                        data = ustream_get_read_buf(uh->us, &len);
                } while (data && uh->state < HTTP_STATE_RECV_DATA);
 
@@ -593,6 +646,9 @@ static void __uclient_notify_read(struct uclient_http *uh)
                        return;
        }
 
+       if (uh->eof)
+               return;
+
        if (uh->state == HTTP_STATE_RECV_DATA && uc->cb->data_read)
                uc->cb->data_read(uc);
 }
@@ -617,13 +673,15 @@ static int uclient_setup_http(struct uclient_http *uh)
        int ret;
 
        uh->us = us;
+       uh->ssl = false;
+
        us->string_data = true;
        us->notify_state = uclient_notify_state;
        us->notify_read = uclient_notify_read;
 
        ret = uclient_do_connect(uh, "80");
        if (ret)
-               return ret;
+               return UCLIENT_ERROR_CONNECT;
 
        return 0;
 }
@@ -642,6 +700,34 @@ static void uclient_ssl_notify_state(struct ustream *us)
        uclient_notify_eof(uh);
 }
 
+static void uclient_ssl_notify_error(struct ustream_ssl *ssl, int error, const char *str)
+{
+       struct uclient_http *uh = container_of(ssl, struct uclient_http, ussl);
+
+       uclient_http_error(uh, UCLIENT_ERROR_CONNECT);
+}
+
+static void uclient_ssl_notify_verify_error(struct ustream_ssl *ssl, int error, const char *str)
+{
+       struct uclient_http *uh = container_of(ssl, struct uclient_http, ussl);
+
+       if (!uh->ssl_require_validation)
+               return;
+
+       uclient_http_error(uh, UCLIENT_ERROR_SSL_INVALID_CERT);
+}
+
+static void uclient_ssl_notify_connected(struct ustream_ssl *ssl)
+{
+       struct uclient_http *uh = container_of(ssl, struct uclient_http, ussl);
+
+       if (!uh->ssl_require_validation)
+               return;
+
+       if (!uh->ussl.valid_cn)
+               uclient_http_error(uh, UCLIENT_ERROR_SSL_CN_MISMATCH);
+}
+
 static int uclient_setup_https(struct uclient_http *uh)
 {
        struct ustream *us = &uh->ussl.stream;
@@ -650,17 +736,21 @@ static int uclient_setup_https(struct uclient_http *uh)
        uh->ssl = true;
        uh->us = us;
 
+       if (!uh->ssl_ctx)
+               return UCLIENT_ERROR_MISSING_SSL_CONTEXT;
+
        ret = uclient_do_connect(uh, "443");
        if (ret)
-               return ret;
-
-       if (!uh->ssl_ctx)
-               uh->ssl_ctx = ustream_ssl_context_new(false);
+               return UCLIENT_ERROR_CONNECT;
 
        us->string_data = true;
        us->notify_state = uclient_ssl_notify_state;
        us->notify_read = uclient_ssl_notify_read;
-       ustream_ssl_init(&uh->ussl, &uh->ufd.stream, uh->ssl_ctx, false);
+       uh->ussl.notify_error = uclient_ssl_notify_error;
+       uh->ussl.notify_verify_error = uclient_ssl_notify_verify_error;
+       uh->ussl.notify_connected = uclient_ssl_notify_connected;
+       uh->ssl_ops->init(&uh->ussl, &uh->ufd.stream, uh->ssl_ctx, false);
+       uh->ssl_ops->set_peer_cn(&uh->ussl, uh->uc.url->host);
 
        return 0;
 }
@@ -668,6 +758,7 @@ static int uclient_setup_https(struct uclient_http *uh)
 static int uclient_http_connect(struct uclient *cl)
 {
        struct uclient_http *uh = container_of(cl, struct uclient_http, uc);
+       int ret;
 
        uclient_http_init_request(uh);
 
@@ -677,9 +768,18 @@ static int uclient_http_connect(struct uclient *cl)
        uh->ssl = cl->url->prefix == PREFIX_HTTPS;
 
        if (uh->ssl)
-               return uclient_setup_https(uh);
+               ret = uclient_setup_https(uh);
        else
-               return uclient_setup_http(uh);
+               ret = uclient_setup_http(uh);
+
+       return ret;
+}
+
+static void uclient_http_disconnect_cb(struct uloop_timeout *timeout)
+{
+       struct uclient_http *uh = container_of(timeout, struct uclient_http, disconnect_t);
+
+       uclient_http_disconnect(uh);
 }
 
 static struct uclient *uclient_http_alloc(void)
@@ -687,6 +787,7 @@ static struct uclient *uclient_http_alloc(void)
        struct uclient_http *uh;
 
        uh = calloc_a(sizeof(*uh));
+       uh->disconnect_t.cb = uclient_http_disconnect_cb;
        blob_buf_init(&uh->headers, 0);
 
        return &uh->uc;
@@ -694,18 +795,16 @@ static struct uclient *uclient_http_alloc(void)
 
 static void uclient_http_free_ssl_ctx(struct uclient_http *uh)
 {
-       if (uh->ssl_ctx && !uh->ssl_ctx_ext)
-               ustream_ssl_context_free(uh->ssl_ctx);
-
-       uh->ssl_ctx_ext = false;
+       uh->ssl_ops = NULL;
+       uh->ssl_ctx = NULL;
 }
 
 static void uclient_http_free(struct uclient *cl)
 {
        struct uclient_http *uh = container_of(cl, struct uclient_http, uc);
 
-       uclient_http_free_ssl_ctx(uh);
        uclient_http_free_url_state(cl);
+       uclient_http_free_ssl_ctx(uh);
        blob_buf_free(&uh->headers);
        blob_buf_free(&uh->meta);
        free(uh);
@@ -735,7 +834,7 @@ uclient_http_set_request_type(struct uclient *cl, const char *type)
 }
 
 int
-uclient_http_reset_headers(struct uclient *cl, const char *name, const char *value)
+uclient_http_reset_headers(struct uclient *cl)
 {
        struct uclient_http *uh = container_of(cl, struct uclient_http, uc);
 
@@ -769,10 +868,11 @@ uclient_http_send_data(struct uclient *cl, char *buf, unsigned int len)
 
        uclient_http_send_headers(uh);
 
-       ustream_printf(uh->us, "%X\r\n", len);
-       if (len > 0)
+       if (len > 0) {
+               ustream_printf(uh->us, "%X\r\n", len);
                ustream_write(uh->us, buf, len, false);
-       ustream_printf(uh->us, "\r\n");
+               ustream_printf(uh->us, "\r\n");
+       }
 
        return len;
 }
@@ -786,6 +886,8 @@ uclient_http_request_done(struct uclient *cl)
                return -1;
 
        uclient_http_send_headers(uh);
+       if (uh->req_type == REQ_POST || uh->req_type == REQ_PUT)
+               ustream_printf(uh->us, "0\r\n\r\n");
        uh->state = HTTP_STATE_REQUEST_DONE;
 
        return 0;
@@ -826,8 +928,10 @@ uclient_http_read(struct uclient *cl, char *buf, unsigned int len)
                read_len += sep + 2 - data;
                data = sep + 2;
 
-               if (!uh->read_chunked)
+               if (!uh->read_chunked) {
                        uh->eof = true;
+                       uh->uc.data_eof = true;
+               }
        }
 
        if (len > data_end - data)
@@ -843,8 +947,10 @@ uclient_http_read(struct uclient *cl, char *buf, unsigned int len)
                        len = uh->content_length;
 
                uh->content_length -= len;
-               if (!uh->content_length)
+               if (!uh->content_length) {
                        uh->eof = true;
+                       uh->uc.data_eof = true;
+               }
        }
 
        if (len > 0) {
@@ -898,25 +1004,43 @@ bool uclient_http_redirect(struct uclient *cl)
        return true;
 }
 
-int uclient_http_set_ssl_ctx(struct uclient *cl, struct ustream_ssl_ctx *ctx)
+int uclient_http_set_ssl_ctx(struct uclient *cl, const struct ustream_ssl_ops *ops,
+                            struct ustream_ssl_ctx *ctx, bool require_validation)
 {
        struct uclient_http *uh = container_of(cl, struct uclient_http, uc);
 
+       if (cl->backend != &uclient_backend_http)
+               return -1;
+
        uclient_http_free_url_state(cl);
 
        uclient_http_free_ssl_ctx(uh);
+       uh->ssl_ops = ops;
        uh->ssl_ctx = ctx;
-       uh->ssl_ctx_ext = !!ctx;
+       uh->ssl_require_validation = !!ctx && require_validation;
 
        return 0;
 }
 
+static void uclient_http_request_disconnect(struct uclient *cl)
+{
+       struct uclient_http *uh = container_of(cl, struct uclient_http, uc);
+
+       if (!uh->us)
+               return;
+
+       uh->eof = true;
+       uh->disconnect = true;
+       uloop_timeout_set(&uh->disconnect_t, 1);
+}
+
 const struct uclient_backend uclient_backend_http = {
        .prefix = uclient_http_prefix,
 
        .alloc = uclient_http_alloc,
        .free = uclient_http_free,
        .connect = uclient_http_connect,
+       .disconnect = uclient_http_request_disconnect,
        .update_url = uclient_http_free_url_state,
 
        .read = uclient_http_read,