openssl: use 1.0.2 openssl API for host name validation
[project/ustream-ssl.git] / ustream-openssl.c
1 /*
2  * ustream-ssl - library for SSL over ustream
3  *
4  * Copyright (C) 2012 Felix Fietkau <nbd@openwrt.org>
5  *
6  * Permission to use, copy, modify, and/or distribute this software for any
7  * purpose with or without fee is hereby granted, provided that the above
8  * copyright notice and this permission notice appear in all copies.
9  *
10  * THE SOFTWARE IS PROVIDED "AS IS" AND THE AUTHOR DISCLAIMS ALL WARRANTIES
11  * WITH REGARD TO THIS SOFTWARE INCLUDING ALL IMPLIED WARRANTIES OF
12  * MERCHANTABILITY AND FITNESS. IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR
13  * ANY SPECIAL, DIRECT, INDIRECT, OR CONSEQUENTIAL DAMAGES OR ANY DAMAGES
14  * WHATSOEVER RESULTING FROM LOSS OF USE, DATA OR PROFITS, WHETHER IN AN
15  * ACTION OF CONTRACT, NEGLIGENCE OR OTHER TORTIOUS ACTION, ARISING OUT OF
16  * OR IN CONNECTION WITH THE USE OR PERFORMANCE OF THIS SOFTWARE.
17  */
18
19 #include <string.h>
20 #include <ctype.h>
21 #include <openssl/x509v3.h>
22 #include "ustream-ssl.h"
23 #include "ustream-internal.h"
24
25 __hidden struct ustream_ssl_ctx *
26 __ustream_ssl_context_new(bool server)
27 {
28         static bool _init = false;
29         const void *m;
30         SSL_CTX *c;
31
32         if (!_init) {
33                 SSL_load_error_strings();
34                 SSL_library_init();
35                 _init = true;
36         }
37
38 #ifdef CYASSL_OPENSSL_H_
39         if (server)
40                 m = SSLv23_server_method();
41         else
42                 m = SSLv23_client_method();
43 #else
44         if (server)
45                 m = TLSv1_server_method();
46         else
47                 m = TLSv1_client_method();
48 #endif
49
50         c = SSL_CTX_new((void *) m);
51         if (!c)
52                 return NULL;
53
54         SSL_CTX_set_verify(c, SSL_VERIFY_NONE, NULL);
55         SSL_CTX_set_quiet_shutdown(c, 1);
56
57         return (void *) c;
58 }
59
60 __hidden int __ustream_ssl_add_ca_crt_file(struct ustream_ssl_ctx *ctx, const char *file)
61 {
62         int ret;
63
64         ret = SSL_CTX_load_verify_locations((void *) ctx, file, NULL);
65         if (ret < 1)
66                 return -1;
67
68         return 0;
69 }
70
71 __hidden int __ustream_ssl_set_crt_file(struct ustream_ssl_ctx *ctx, const char *file)
72 {
73         int ret;
74
75         ret = SSL_CTX_use_certificate_chain_file((void *) ctx, file);
76         if (ret < 1)
77                 ret = SSL_CTX_use_certificate_file((void *) ctx, file, SSL_FILETYPE_ASN1);
78
79         if (ret < 1)
80                 return -1;
81
82         return 0;
83 }
84
85 __hidden int __ustream_ssl_set_key_file(struct ustream_ssl_ctx *ctx, const char *file)
86 {
87         int ret;
88
89         ret = SSL_CTX_use_PrivateKey_file((void *) ctx, file, SSL_FILETYPE_PEM);
90         if (ret < 1)
91                 ret = SSL_CTX_use_PrivateKey_file((void *) ctx, file, SSL_FILETYPE_ASN1);
92
93         if (ret < 1)
94                 return -1;
95
96         return 0;
97 }
98
99 __hidden void __ustream_ssl_context_free(struct ustream_ssl_ctx *ctx)
100 {
101         SSL_CTX_free((void *) ctx);
102 }
103
104 void __ustream_ssl_session_free(void *ssl)
105 {
106         SSL_shutdown(ssl);
107         SSL_free(ssl);
108 }
109
110 static void ustream_ssl_error(struct ustream_ssl *us, int ret)
111 {
112         us->error = ret;
113         uloop_timeout_set(&us->error_timer, 0);
114 }
115
116 #ifndef CYASSL_OPENSSL_H_
117
118 static bool ustream_ssl_verify_cn(struct ustream_ssl *us, X509 *cert)
119 {
120         int ret;
121
122         if (!us->peer_cn)
123                 return false;
124
125         ret = X509_check_host(cert, us->peer_cn, 0, X509_CHECK_FLAG_NO_PARTIAL_WILDCARDS, NULL);
126         return ret == 1;
127 }
128
129
130 static void ustream_ssl_verify_cert(struct ustream_ssl *us)
131 {
132         void *ssl = us->ssl;
133         X509 *cert;
134         int res;
135
136         res = SSL_get_verify_result(ssl);
137         if (res != X509_V_OK) {
138                 if (us->notify_verify_error)
139                         us->notify_verify_error(us, res, X509_verify_cert_error_string(res));
140                 return;
141         }
142
143         cert = SSL_get_peer_certificate(ssl);
144         if (!cert)
145                 return;
146
147         us->valid_cert = true;
148         us->valid_cn = ustream_ssl_verify_cn(us, cert);
149         X509_free(cert);
150 }
151
152 #endif
153
154 __hidden enum ssl_conn_status __ustream_ssl_connect(struct ustream_ssl *us)
155 {
156         void *ssl = us->ssl;
157         int r;
158
159         if (us->server)
160                 r = SSL_accept(ssl);
161         else
162                 r = SSL_connect(ssl);
163
164         if (r == 1) {
165 #ifndef CYASSL_OPENSSL_H_
166                 ustream_ssl_verify_cert(us);
167 #endif
168                 return U_SSL_OK;
169         }
170
171         r = SSL_get_error(ssl, r);
172         if (r == SSL_ERROR_WANT_READ || r == SSL_ERROR_WANT_WRITE)
173                 return U_SSL_PENDING;
174
175         ustream_ssl_error(us, r);
176         return U_SSL_ERROR;
177 }
178
179 __hidden int __ustream_ssl_write(struct ustream_ssl *us, const char *buf, int len)
180 {
181         void *ssl = us->ssl;
182         int ret = SSL_write(ssl, buf, len);
183
184         if (ret < 0) {
185                 int err = SSL_get_error(ssl, ret);
186                 if (err == SSL_ERROR_WANT_WRITE)
187                         return 0;
188
189                 ustream_ssl_error(us, err);
190                 return -1;
191         }
192
193         return ret;
194 }
195
196 __hidden int __ustream_ssl_read(struct ustream_ssl *us, char *buf, int len)
197 {
198         int ret = SSL_read(us->ssl, buf, len);
199
200         if (ret < 0) {
201                 ret = SSL_get_error(us->ssl, ret);
202                 if (ret == SSL_ERROR_WANT_READ)
203                         return U_SSL_PENDING;
204
205                 ustream_ssl_error(us, ret);
206                 return U_SSL_ERROR;
207         }
208
209         return ret;
210 }
211