add history search path
[project/uci.git] / file.c
diff --git a/file.c b/file.c
index cb76d97..6052c40 100644 (file)
--- a/file.c
+++ b/file.c
  * This file contains the code for parsing uci config files
  */
 
+#define _GNU_SOURCE
 #include <sys/types.h>
 #include <sys/stat.h>
+#include <sys/file.h>
 #include <stdbool.h>
 #include <unistd.h>
 #include <fcntl.h>
@@ -93,7 +95,7 @@ static void uci_file_cleanup(struct uci_context *ctx)
 
        ctx->pctx = NULL;
        if (pctx->package)
-               uci_free_package(pctx->package);
+               uci_free_package(&pctx->package);
 
        if (pctx->buf)
                free(pctx->buf);
@@ -208,6 +210,9 @@ static void parse_str(struct uci_context *ctx, char **str, char **target)
                case '"':
                        parse_double_quote(ctx, str, target);
                        break;
+               case '#':
+                       **str = 0;
+                       /* fall through */
                case 0:
                        goto done;
                case '\\':
@@ -244,11 +249,16 @@ static char *next_arg(struct uci_context *ctx, char **str, bool required, bool n
        val = ptr = *str;
        skip_whitespace(ctx, str);
        parse_str(ctx, str, &ptr);
-       if (required && !*val)
-               uci_parse_error(ctx, *str, "insufficient arguments");
+       if (!*val) {
+               if (required)
+                       uci_parse_error(ctx, *str, "insufficient arguments");
+               goto done;
+       }
+
        if (name && !uci_validate_name(val))
                uci_parse_error(ctx, val, "invalid character in field");
 
+done:
        return val;
 }
 
@@ -261,7 +271,7 @@ static void assert_eol(struct uci_context *ctx, char **str)
        char *tmp;
 
        tmp = next_arg(ctx, str, false, false);
-       if (tmp && *tmp)
+       if (tmp && *tmp && (ctx->flags & UCI_FLAG_STRICT))
                uci_parse_error(ctx, *str, "too many arguments");
 }
 
@@ -318,14 +328,60 @@ static void uci_parse_package(struct uci_context *ctx, char **str, bool single)
        uci_switch_config(ctx);
 }
 
+/* Based on an efficient hash function published by D. J. Bernstein */
+static unsigned int djbhash(unsigned int hash, char *str)
+{
+       int len = strlen(str);
+       int i;
+
+       /* initial value */
+       if (hash == ~0)
+               hash = 5381;
+
+       for(i = 0; i < len; i++) {
+               hash = ((hash << 5) + hash) + str[i];
+       }
+       return (hash & 0x7FFFFFFF);
+}
+
+/* fix up an unnamed section */
+static void uci_fixup_section(struct uci_context *ctx, struct uci_section *s)
+{
+       unsigned int hash = ~0;
+       struct uci_element *e;
+       char buf[16];
+
+       if (!s || s->e.name)
+               return;
+
+       /*
+        * Generate a name for unnamed sections. This is used as reference
+        * when locating or updating the section from apps/scripts.
+        * To make multiple concurrent versions somewhat safe for updating,
+        * the name is generated from a hash of its type and name/value
+        * pairs of its option, and it is prefixed by a counter value.
+        * If the order of the unnamed sections changes for some reason,
+        * updates to them will be rejected.
+        */
+       hash = djbhash(hash, s->type);
+       uci_foreach_element(&s->options, e) {
+               hash = djbhash(hash, e->name);
+               hash = djbhash(hash, uci_to_option(e)->value);
+       }
+       sprintf(buf, "cfg%02x%04x", ++s->package->n_section, hash % (1 << 16));
+       s->e.name = uci_strdup(ctx, buf);
+}
+
 /*
  * parse the 'config' uci command (open a section)
  */
 static void uci_parse_config(struct uci_context *ctx, char **str)
 {
+       struct uci_parse_context *pctx = ctx->pctx;
        char *name = NULL;
        char *type = NULL;
 
+       uci_fixup_section(ctx, ctx->pctx->section);
        if (!ctx->pctx->package) {
                if (!ctx->pctx->name)
                        uci_parse_error(ctx, *str, "attempting to import a file without a package name");
@@ -339,7 +395,16 @@ static void uci_parse_config(struct uci_context *ctx, char **str)
        type = next_arg(ctx, str, true, true);
        name = next_arg(ctx, str, false, true);
        assert_eol(ctx, str);
-       ctx->pctx->section = uci_alloc_section(ctx->pctx->package, type, name);
+
+       if (pctx->merge) {
+               UCI_TRAP_SAVE(ctx, error);
+               uci_set(ctx, pctx->package, name, NULL, type);
+               UCI_TRAP_RESTORE(ctx);
+               return;
+error:
+               UCI_THROW(ctx, ctx->errno);
+       } else
+               pctx->section = uci_alloc_section(pctx->package, type, name);
 }
 
 /*
@@ -347,10 +412,11 @@ static void uci_parse_config(struct uci_context *ctx, char **str)
  */
 static void uci_parse_option(struct uci_context *ctx, char **str)
 {
+       struct uci_parse_context *pctx = ctx->pctx;
        char *name = NULL;
        char *value = NULL;
 
-       if (!ctx->pctx->section)
+       if (!pctx->section)
                uci_parse_error(ctx, *str, "option command found before the first section");
 
        /* command string null-terminated by strtok */
@@ -359,7 +425,16 @@ static void uci_parse_option(struct uci_context *ctx, char **str)
        name = next_arg(ctx, str, true, true);
        value = next_arg(ctx, str, true, false);
        assert_eol(ctx, str);
-       uci_alloc_option(ctx->pctx->section, name, value);
+
+       if (pctx->merge) {
+               UCI_TRAP_SAVE(ctx, error);
+               uci_set(ctx, pctx->package, pctx->section->e.name, name, value);
+               UCI_TRAP_RESTORE(ctx);
+               return;
+error:
+               UCI_THROW(ctx, ctx->errno);
+       } else
+               uci_alloc_option(pctx->section, name, value);
 }
 
 
@@ -378,7 +453,12 @@ static void uci_parse_line(struct uci_context *ctx, bool single)
                char *pbrk = NULL;
                word = strtok_r(word, " \t", &pbrk);
 
+               if (!word)
+                       continue;
+
                switch(word[0]) {
+                       case '#':
+                               return;
                        case 'p':
                                if ((word[1] == 0) || !strcmp(word + 1, "ackage"))
                                        uci_parse_package(ctx, &word, single);
@@ -453,7 +533,9 @@ static void uci_export_package(struct uci_package *p, FILE *stream, bool header)
        uci_foreach_element(&p->sections, s) {
                struct uci_section *sec = uci_to_section(s);
                fprintf(stream, "\nconfig '%s'", uci_escape(ctx, sec->type));
-               fprintf(stream, " '%s'\n", uci_escape(ctx, sec->e.name));
+               if (!sec->anonymous || (ctx->flags & UCI_FLAG_EXPORT_NAME))
+                       fprintf(stream, " '%s'", uci_escape(ctx, sec->e.name));
+               fprintf(stream, "\n");
                uci_foreach_element(&sec->options, o) {
                        struct uci_option *opt = uci_to_option(o);
                        fprintf(stream, "\toption '%s'", uci_escape(ctx, opt->e.name));
@@ -484,6 +566,7 @@ int uci_export(struct uci_context *ctx, FILE *stream, struct uci_package *packag
 int uci_import(struct uci_context *ctx, FILE *stream, const char *name, struct uci_package **package, bool single)
 {
        struct uci_parse_context *pctx;
+       UCI_HANDLE_ERR(ctx);
 
        /* make sure no memory from previous parse attempts is leaked */
        uci_file_cleanup(ctx);
@@ -491,18 +574,23 @@ int uci_import(struct uci_context *ctx, FILE *stream, const char *name, struct u
        pctx = (struct uci_parse_context *) uci_malloc(ctx, sizeof(struct uci_parse_context));
        ctx->pctx = pctx;
        pctx->file = stream;
+       if (*package && single) {
+               pctx->package = *package;
+               pctx->merge = true;
+       }
 
        /*
         * If 'name' was supplied, assume that the supplied stream does not contain
         * the appropriate 'package <name>' string to specify the config name
         * NB: the config file can still override the package name
         */
-       if (name)
+       if (name) {
+               UCI_ASSERT(ctx, uci_validate_name(name));
                pctx->name = name;
+       }
 
        while (!feof(pctx->file)) {
                uci_getln(ctx, 0);
-
                UCI_TRAP_SAVE(ctx, error);
                if (pctx->buf[0])
                        uci_parse_line(ctx, single);
@@ -516,8 +604,11 @@ error:
                        UCI_THROW(ctx, ctx->errno);
        }
 
+       uci_fixup_section(ctx, ctx->pctx->section);
        if (package)
                *package = pctx->package;
+       if (pctx->merge)
+               pctx->package = NULL;
 
        pctx->name = NULL;
        uci_switch_config(ctx);
@@ -534,33 +625,34 @@ error:
  * note: when opening for write and seeking to the beginning of
  * the stream, truncate the file
  */
-static FILE *uci_open_stream(struct uci_context *ctx, const char *filename, int pos, bool write)
+static FILE *uci_open_stream(struct uci_context *ctx, const char *filename, int pos, bool write, bool create)
 {
        struct stat statbuf;
        FILE *file = NULL;
        int fd, ret;
+       int mode = (write ? O_RDWR : O_RDONLY);
+
+       if (create)
+               mode |= O_CREAT;
 
        if (!write && ((stat(filename, &statbuf) < 0) ||
                ((statbuf.st_mode &  S_IFMT) != S_IFREG))) {
                UCI_THROW(ctx, UCI_ERR_NOTFOUND);
        }
 
-       fd = open(filename, (write ? O_RDWR | O_CREAT : O_RDONLY));
+       fd = open(filename, mode, UCI_FILEMODE);
        if (fd <= 0)
                goto error;
 
        if (flock(fd, (write ? LOCK_EX : LOCK_SH)) < 0)
                goto error;
 
-       if (write && (pos == SEEK_SET))
-               ret = ftruncate(fd, 0);
-       else
-               ret = lseek(fd, 0, pos);
+       ret = lseek(fd, 0, pos);
 
        if (ret < 0)
                goto error;
 
-       file = fdopen(fd, (write ? "w" : "r"));
+       file = fdopen(fd, (write ? "w+" : "r"));
        if (file)
                goto done;
 
@@ -585,6 +677,7 @@ static void uci_close_stream(FILE *stream)
 static void uci_parse_history_line(struct uci_context *ctx, struct uci_package *p, char *buf)
 {
        bool delete = false;
+       bool rename = false;
        char *package = NULL;
        char *section = NULL;
        char *option = NULL;
@@ -593,20 +686,25 @@ static void uci_parse_history_line(struct uci_context *ctx, struct uci_package *
        if (buf[0] == '-') {
                delete = true;
                buf++;
+       } else if (buf[0] == '@') {
+               rename = true;
+               buf++;
        }
 
        UCI_INTERNAL(uci_parse_tuple, ctx, buf, &package, &section, &option, &value);
-       if (!package || !section || (!delete && !value))
-               goto error;
-       if (strcmp(package, p->e.name) != 0)
+       if (!package || (strcmp(package, p->e.name) != 0))
                goto error;
        if (!uci_validate_name(section))
                goto error;
        if (option && !uci_validate_name(option))
                goto error;
+       if ((rename || !delete) && !uci_validate_name(value))
+               goto error;
 
-       if (delete)
-               UCI_INTERNAL(uci_del, ctx, p, section, option);
+       if (rename)
+               UCI_INTERNAL(uci_rename, ctx, p, section, option, value);
+       else if (delete)
+               UCI_INTERNAL(uci_delete, ctx, p, section, option);
        else
                UCI_INTERNAL(uci_set, ctx, p, section, option, value);
 
@@ -626,39 +724,85 @@ static void uci_parse_history(struct uci_context *ctx, FILE *stream, struct uci_
        ctx->pctx = pctx;
        pctx->file = stream;
 
-       rewind(stream);
        while (!feof(pctx->file)) {
                uci_getln(ctx, 0);
                if (!pctx->buf[0])
                        continue;
+
+               /*
+                * ignore parse errors in single lines, we want to preserve as much
+                * history as possible
+                */
+               UCI_TRAP_SAVE(ctx, error);
                uci_parse_history_line(ctx, p, pctx->buf);
+               UCI_TRAP_RESTORE(ctx);
+error:
+               continue;
        }
 
        /* no error happened, we can get rid of the parser context now */
        uci_file_cleanup(ctx);
 }
 
-static void uci_load_history(struct uci_context *ctx, struct uci_package *p)
+static void uci_load_history_file(struct uci_context *ctx, struct uci_package *p, char *filename, FILE **f, bool flush)
+{
+       FILE *stream = NULL;
+
+       UCI_TRAP_SAVE(ctx, done);
+       stream = uci_open_stream(ctx, filename, SEEK_SET, flush, false);
+       if (p)
+               uci_parse_history(ctx, stream, p);
+       UCI_TRAP_RESTORE(ctx);
+done:
+       if (f)
+               *f = stream;
+       else if (stream)
+               uci_close_stream(stream);
+}
+
+static void uci_load_history(struct uci_context *ctx, struct uci_package *p, bool flush)
 {
+       struct uci_element *e;
        char *filename = NULL;
        FILE *f = NULL;
 
        if (!p->confdir)
                return;
-       if ((asprintf(&filename, "%s/%s", UCI_SAVEDIR, p->e.name) < 0) || !filename)
+
+       uci_foreach_element(&ctx->history_path, e) {
+               if ((asprintf(&filename, "%s/%s", e->name, p->e.name) < 0) || !filename)
+                       UCI_THROW(ctx, UCI_ERR_MEM);
+
+               uci_load_history_file(ctx, p, filename, NULL, false);
+               free(filename);
+       }
+
+       if ((asprintf(&filename, "%s/%s", ctx->savedir, p->e.name) < 0) || !filename)
                UCI_THROW(ctx, UCI_ERR_MEM);
 
-       UCI_TRAP_SAVE(ctx, done);
-       f = uci_open_stream(ctx, filename, SEEK_SET, false);
-       uci_parse_history(ctx, f, p);
-       UCI_TRAP_RESTORE(ctx);
-done:
+       uci_load_history_file(ctx, p, filename, &f, flush);
+       if (flush && f) {
+               rewind(f);
+               ftruncate(fileno(f), 0);
+       }
        if (filename)
                free(filename);
        uci_close_stream(f);
        ctx->errno = 0;
 }
 
+
+static char *uci_config_path(struct uci_context *ctx, const char *name)
+{
+       char *filename;
+
+       UCI_ASSERT(ctx, uci_validate_name(name));
+       filename = uci_malloc(ctx, strlen(name) + strlen(ctx->confdir) + 2);
+       sprintf(filename, "%s/%s", ctx->confdir, name);
+
+       return filename;
+}
+
 int uci_load(struct uci_context *ctx, const char *name, struct uci_package **package)
 {
        char *filename;
@@ -666,7 +810,6 @@ int uci_load(struct uci_context *ctx, const char *name, struct uci_package **pac
        FILE *file = NULL;
 
        UCI_HANDLE_ERR(ctx);
-       UCI_ASSERT(ctx, name != NULL);
 
        switch (name[0]) {
        case '.':
@@ -682,24 +825,21 @@ int uci_load(struct uci_context *ctx, const char *name, struct uci_package **pac
                break;
        default:
                /* config in /etc/config */
-               if (strchr(name, '/'))
-                       UCI_THROW(ctx, UCI_ERR_INVAL);
-               filename = uci_malloc(ctx, strlen(name) + sizeof(UCI_CONFDIR) + 2);
-               sprintf(filename, UCI_CONFDIR "/%s", name);
+               filename = uci_config_path(ctx, name);
                confdir = true;
                break;
        }
 
-       file = uci_open_stream(ctx, filename, SEEK_SET, false);
+       file = uci_open_stream(ctx, filename, SEEK_SET, false, false);
        ctx->errno = 0;
        UCI_TRAP_SAVE(ctx, done);
-       uci_import(ctx, file, name, package, true);
+       UCI_INTERNAL(uci_import, ctx, file, name, package, true);
        UCI_TRAP_RESTORE(ctx);
 
        if (*package) {
                (*package)->path = filename;
                (*package)->confdir = confdir;
-               uci_load_history(ctx, *package);
+               uci_load_history(ctx, *package, false);
        }
 
 done:
@@ -719,20 +859,21 @@ int uci_save(struct uci_context *ctx, struct uci_package *p)
        /* 
         * if the config file was outside of the /etc/config path,
         * don't save the history to a file, update the real file
-        * directly
+        * directly.
+        * does not modify the uci_package pointer
         */
        if (!p->confdir)
-               return uci_commit(ctx, p);
+               return uci_commit(ctx, &p, false);
 
        if (uci_list_empty(&p->history))
                return 0;
 
-       if ((asprintf(&filename, "%s/%s", UCI_SAVEDIR, p->e.name) < 0) || !filename)
+       if ((asprintf(&filename, "%s/%s", ctx->savedir, p->e.name) < 0) || !filename)
                UCI_THROW(ctx, UCI_ERR_MEM);
 
        ctx->errno = 0;
        UCI_TRAP_SAVE(ctx, done);
-       f = uci_open_stream(ctx, filename, SEEK_END, true);
+       f = uci_open_stream(ctx, filename, SEEK_END, true, true);
        UCI_TRAP_RESTORE(ctx);
 
        uci_foreach_element_safe(&p->history, tmp, e) {
@@ -740,6 +881,8 @@ int uci_save(struct uci_context *ctx, struct uci_package *p)
 
                if (h->cmd == UCI_CMD_REMOVE)
                        fprintf(f, "-");
+               else if (h->cmd == UCI_CMD_RENAME)
+                       fprintf(f, "@");
 
                fprintf(f, "%s.%s", p->e.name, h->section);
                if (e->name)
@@ -762,21 +905,73 @@ done:
        return 0;
 }
 
-int uci_commit(struct uci_context *ctx, struct uci_package *p)
+int uci_commit(struct uci_context *ctx, struct uci_package **package, bool overwrite)
 {
+       struct uci_package *p;
        FILE *f = NULL;
+       char *name = NULL;
+       char *path = NULL;
 
        UCI_HANDLE_ERR(ctx);
+       UCI_ASSERT(ctx, package != NULL);
+       p = *package;
+
        UCI_ASSERT(ctx, p != NULL);
-       UCI_ASSERT(ctx, p->path != NULL);
+       if (!p->path) {
+               if (overwrite)
+                       p->path = uci_config_path(ctx, p->e.name);
+               else
+                       UCI_THROW(ctx, UCI_ERR_INVAL);
+       }
+
 
-       f = uci_open_stream(ctx, p->path, SEEK_SET, true);
+       /* open the config file for writing now, so that it is locked */
+       f = uci_open_stream(ctx, p->path, SEEK_SET, true, true);
 
+       /* flush unsaved changes and reload from history file */
        UCI_TRAP_SAVE(ctx, done);
+       if (p->confdir) {
+               if (!overwrite) {
+                       name = uci_strdup(ctx, p->e.name);
+                       path = uci_strdup(ctx, p->path);
+                       /* dump our own changes to the history file */
+                       if (!uci_list_empty(&p->history))
+                               UCI_INTERNAL(uci_save, ctx, p);
+
+                       /* 
+                        * other processes might have modified the config 
+                        * as well. dump and reload 
+                        */
+                       uci_free_package(&p);
+                       uci_file_cleanup(ctx);
+                       UCI_INTERNAL(uci_import, ctx, f, name, &p, true);
+
+                       p->path = path;
+                       p->confdir = true;
+                       *package = p;
+
+                       /* freed together with the uci_package */
+                       path = NULL;
+
+                       /* check for updated history, just in case */
+                       uci_load_history(ctx, p, true);
+               } else {
+                       /* flush history */
+                       uci_load_history(ctx, NULL, true);
+               }
+       }
+
+       rewind(f);
+       ftruncate(fileno(f), 0);
+
        uci_export(ctx, f, p, false);
        UCI_TRAP_RESTORE(ctx);
 
 done:
+       if (name)
+               free(name);
+       if (path)
+               free(path);
        uci_close_stream(f);
        if (ctx->errno)
                UCI_THROW(ctx, ctx->errno);
@@ -808,10 +1003,13 @@ int uci_list_configs(struct uci_context *ctx, char ***list)
        glob_t globbuf;
        int size, i;
        char *buf;
+       char *dir;
 
        UCI_HANDLE_ERR(ctx);
 
-       if (glob(UCI_CONFDIR "/*", GLOB_MARK, NULL, &globbuf) != 0)
+       dir = uci_malloc(ctx, strlen(ctx->confdir) + 1 + sizeof("/*"));
+       sprintf(dir, "%s/*", ctx->confdir);
+       if (glob(dir, GLOB_MARK, NULL, &globbuf) != 0)
                UCI_THROW(ctx, UCI_ERR_NOTFOUND);
 
        size = sizeof(char *) * (globbuf.gl_pathc + 1);
@@ -839,6 +1037,7 @@ int uci_list_configs(struct uci_context *ctx, char ***list)
                buf += strlen(buf) + 1;
        }
        *list = configs;
+       free(dir);
 
        return 0;
 }