openssl: keep compatibility with older TLS/SSL protocols
[project/ustream-ssl.git] / ustream-openssl.c
1 /*
2  * ustream-ssl - library for SSL over ustream
3  *
4  * Copyright (C) 2012 Felix Fietkau <nbd@openwrt.org>
5  *
6  * Permission to use, copy, modify, and/or distribute this software for any
7  * purpose with or without fee is hereby granted, provided that the above
8  * copyright notice and this permission notice appear in all copies.
9  *
10  * THE SOFTWARE IS PROVIDED "AS IS" AND THE AUTHOR DISCLAIMS ALL WARRANTIES
11  * WITH REGARD TO THIS SOFTWARE INCLUDING ALL IMPLIED WARRANTIES OF
12  * MERCHANTABILITY AND FITNESS. IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR
13  * ANY SPECIAL, DIRECT, INDIRECT, OR CONSEQUENTIAL DAMAGES OR ANY DAMAGES
14  * WHATSOEVER RESULTING FROM LOSS OF USE, DATA OR PROFITS, WHETHER IN AN
15  * ACTION OF CONTRACT, NEGLIGENCE OR OTHER TORTIOUS ACTION, ARISING OUT OF
16  * OR IN CONNECTION WITH THE USE OR PERFORMANCE OF THIS SOFTWARE.
17  */
18
19 #include <string.h>
20 #include <ctype.h>
21 #include <openssl/x509v3.h>
22 #include "ustream-ssl.h"
23 #include "ustream-internal.h"
24
25 __hidden struct ustream_ssl_ctx *
26 __ustream_ssl_context_new(bool server)
27 {
28         static bool _init = false;
29         const void *m;
30         SSL_CTX *c;
31
32         if (!_init) {
33                 SSL_load_error_strings();
34                 SSL_library_init();
35                 _init = true;
36         }
37
38         if (server)
39 #ifdef CYASSL_OPENSSL_H_
40                 m = SSLv23_server_method();
41 #else
42                 m = TLSv1_2_server_method();
43 #endif
44         else
45                 m = SSLv23_client_method();
46
47         c = SSL_CTX_new((void *) m);
48         if (!c)
49                 return NULL;
50
51         SSL_CTX_set_verify(c, SSL_VERIFY_NONE, NULL);
52         SSL_CTX_set_quiet_shutdown(c, 1);
53
54         return (void *) c;
55 }
56
57 __hidden int __ustream_ssl_add_ca_crt_file(struct ustream_ssl_ctx *ctx, const char *file)
58 {
59         int ret;
60
61         ret = SSL_CTX_load_verify_locations((void *) ctx, file, NULL);
62         if (ret < 1)
63                 return -1;
64
65         return 0;
66 }
67
68 __hidden int __ustream_ssl_set_crt_file(struct ustream_ssl_ctx *ctx, const char *file)
69 {
70         int ret;
71
72         ret = SSL_CTX_use_certificate_chain_file((void *) ctx, file);
73         if (ret < 1)
74                 ret = SSL_CTX_use_certificate_file((void *) ctx, file, SSL_FILETYPE_ASN1);
75
76         if (ret < 1)
77                 return -1;
78
79         return 0;
80 }
81
82 __hidden int __ustream_ssl_set_key_file(struct ustream_ssl_ctx *ctx, const char *file)
83 {
84         int ret;
85
86         ret = SSL_CTX_use_PrivateKey_file((void *) ctx, file, SSL_FILETYPE_PEM);
87         if (ret < 1)
88                 ret = SSL_CTX_use_PrivateKey_file((void *) ctx, file, SSL_FILETYPE_ASN1);
89
90         if (ret < 1)
91                 return -1;
92
93         return 0;
94 }
95
96 __hidden void __ustream_ssl_context_free(struct ustream_ssl_ctx *ctx)
97 {
98         SSL_CTX_free((void *) ctx);
99 }
100
101 void __ustream_ssl_session_free(void *ssl)
102 {
103         SSL_shutdown(ssl);
104         SSL_free(ssl);
105 }
106
107 static void ustream_ssl_error(struct ustream_ssl *us, int ret)
108 {
109         us->error = ret;
110         uloop_timeout_set(&us->error_timer, 0);
111 }
112
113 #ifndef CYASSL_OPENSSL_H_
114
115 static bool ustream_ssl_verify_cn(struct ustream_ssl *us, X509 *cert)
116 {
117         int ret;
118
119         if (!us->peer_cn)
120                 return false;
121
122         ret = X509_check_host(cert, us->peer_cn, 0, X509_CHECK_FLAG_NO_PARTIAL_WILDCARDS, NULL);
123         return ret == 1;
124 }
125
126
127 static void ustream_ssl_verify_cert(struct ustream_ssl *us)
128 {
129         void *ssl = us->ssl;
130         X509 *cert;
131         int res;
132
133         res = SSL_get_verify_result(ssl);
134         if (res != X509_V_OK) {
135                 if (us->notify_verify_error)
136                         us->notify_verify_error(us, res, X509_verify_cert_error_string(res));
137                 return;
138         }
139
140         cert = SSL_get_peer_certificate(ssl);
141         if (!cert)
142                 return;
143
144         us->valid_cert = true;
145         us->valid_cn = ustream_ssl_verify_cn(us, cert);
146         X509_free(cert);
147 }
148
149 #endif
150
151 __hidden enum ssl_conn_status __ustream_ssl_connect(struct ustream_ssl *us)
152 {
153         void *ssl = us->ssl;
154         int r;
155
156         if (us->server)
157                 r = SSL_accept(ssl);
158         else
159                 r = SSL_connect(ssl);
160
161         if (r == 1) {
162 #ifndef CYASSL_OPENSSL_H_
163                 ustream_ssl_verify_cert(us);
164 #endif
165                 return U_SSL_OK;
166         }
167
168         r = SSL_get_error(ssl, r);
169         if (r == SSL_ERROR_WANT_READ || r == SSL_ERROR_WANT_WRITE)
170                 return U_SSL_PENDING;
171
172         ustream_ssl_error(us, r);
173         return U_SSL_ERROR;
174 }
175
176 __hidden int __ustream_ssl_write(struct ustream_ssl *us, const char *buf, int len)
177 {
178         void *ssl = us->ssl;
179         int ret = SSL_write(ssl, buf, len);
180
181         if (ret < 0) {
182                 int err = SSL_get_error(ssl, ret);
183                 if (err == SSL_ERROR_WANT_WRITE)
184                         return 0;
185
186                 ustream_ssl_error(us, err);
187                 return -1;
188         }
189
190         return ret;
191 }
192
193 __hidden int __ustream_ssl_read(struct ustream_ssl *us, char *buf, int len)
194 {
195         int ret = SSL_read(us->ssl, buf, len);
196
197         if (ret < 0) {
198                 ret = SSL_get_error(us->ssl, ret);
199                 if (ret == SSL_ERROR_WANT_READ)
200                         return U_SSL_PENDING;
201
202                 ustream_ssl_error(us, ret);
203                 return U_SSL_ERROR;
204         }
205
206         return ret;
207 }
208