uci/lua: add explicit close() method
[project/uci.git] / file.c
diff --git a/file.c b/file.c
index cb76d97..76f7f32 100644 (file)
--- a/file.c
+++ b/file.c
@@ -2,44 +2,42 @@
  * libuci - Library for the Unified Configuration Interface
  * Copyright (C) 2008 Felix Fietkau <nbd@openwrt.org>
  *
- * this program is free software; you can redistribute it and/or modify
- * it under the terms of the gnu lesser general public license version 2.1
- * as published by the free software foundation
+ * This program is free software; you can redistribute it and/or modify
+ * it under the terms of the GNU Lesser General Public License version 2.1
+ * as published by the Free Software Foundation
  *
  * This program is distributed in the hope that it will be useful,
  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
- * GNU General Public License for more details.
+ * GNU Lesser General Public License for more details.
  */
 
 /*
  * This file contains the code for parsing uci config files
  */
 
+#define _GNU_SOURCE
 #include <sys/types.h>
 #include <sys/stat.h>
+#include <sys/file.h>
 #include <stdbool.h>
 #include <unistd.h>
 #include <fcntl.h>
 #include <stdio.h>
 #include <ctype.h>
+#include <glob.h>
+#include <string.h>
+#include <stdlib.h>
 
-#define LINEBUF        32
-#define LINEBUF_MAX    4096
+#include "uci.h"
+#include "uci_internal.h"
 
-static void uci_parse_error(struct uci_context *ctx, char *pos, char *reason)
-{
-       struct uci_parse_context *pctx = ctx->pctx;
-
-       pctx->reason = reason;
-       pctx->byte = pos - pctx->buf;
-       UCI_THROW(ctx, UCI_ERR_PARSE);
-}
+#define LINEBUF        32
 
 /*
  * Fetch a new line from the input stream and resize buffer if necessary
  */
-static void uci_getln(struct uci_context *ctx, int offset)
+__private void uci_getln(struct uci_context *ctx, int offset)
 {
        struct uci_parse_context *pctx = ctx->pctx;
        char *p;
@@ -49,11 +47,16 @@ static void uci_getln(struct uci_context *ctx, int offset)
                pctx->buf = uci_malloc(ctx, LINEBUF);
                pctx->bufsz = LINEBUF;
        }
+       /* It takes 2 slots for fgets to read 1 char. */
+       if (offset >= pctx->bufsz - 1) {
+               pctx->bufsz *= 2;
+               pctx->buf = uci_realloc(ctx, pctx->buf, pctx->bufsz);
+       }
 
        ofs = offset;
        do {
                p = &pctx->buf[ofs];
-               p[ofs] = 0;
+               p[0] = 0;
 
                p = fgets(p, pctx->bufsz - ofs, pctx->file);
                if (!p || !*p)
@@ -62,59 +65,35 @@ static void uci_getln(struct uci_context *ctx, int offset)
                ofs += strlen(p);
                if (pctx->buf[ofs - 1] == '\n') {
                        pctx->line++;
-                       pctx->buf[ofs - 1] = 0;
                        return;
                }
 
-               if (pctx->bufsz > LINEBUF_MAX/2)
-                       uci_parse_error(ctx, p, "line too long");
-
                pctx->bufsz *= 2;
                pctx->buf = uci_realloc(ctx, pctx->buf, pctx->bufsz);
+               if (!pctx->buf)
+                       UCI_THROW(ctx, UCI_ERR_MEM);
        } while (1);
 }
 
 /*
- * Clean up all extra memory used by the parser and exporter
- */
-static void uci_file_cleanup(struct uci_context *ctx)
-{
-       struct uci_parse_context *pctx;
-
-       if (ctx->buf) {
-               free(ctx->buf);
-               ctx->buf = NULL;
-               ctx->bufsz = 0;
-       }
-
-       pctx = ctx->pctx;
-       if (!pctx)
-               return;
-
-       ctx->pctx = NULL;
-       if (pctx->package)
-               uci_free_package(pctx->package);
-
-       if (pctx->buf)
-               free(pctx->buf);
-
-       free(pctx);
-}
-
-/* 
  * parse a character escaped by '\'
  * returns true if the escaped character is to be parsed
  * returns false if the escaped character is to be ignored
  */
-static inline bool parse_backslash(struct uci_context *ctx, char **str)
+static bool parse_backslash(struct uci_context *ctx)
 {
+       struct uci_parse_context *pctx = ctx->pctx;
+
        /* skip backslash */
-       *str += 1;
+       pctx->pos += 1;
 
        /* undecoded backslash at the end of line, fetch the next line */
-       if (!**str) {
-               *str += 1;
-               uci_getln(ctx, *str - ctx->pctx->buf);
+       if (!pctx_cur_char(pctx) ||
+           pctx_cur_char(pctx) == '\n' ||
+           (pctx_cur_char(pctx) == '\r' &&
+            pctx_char(pctx, pctx_pos(pctx) + 1) == '\n' &&
+            !pctx_char(pctx, pctx_pos(pctx) + 2))) {
+               uci_getln(ctx, pctx->pos);
                return false;
        }
 
@@ -126,146 +105,264 @@ static inline bool parse_backslash(struct uci_context *ctx, char **str)
  * move the string pointer forward until a non-whitespace character or
  * EOL is reached
  */
-static void skip_whitespace(struct uci_context *ctx, char **str)
+static void skip_whitespace(struct uci_context *ctx)
 {
-restart:
-       while (**str && isspace(**str))
-               *str += 1;
+       struct uci_parse_context *pctx = ctx->pctx;
 
-       if (**str == '\\') {
-               if (!parse_backslash(ctx, str))
-                       goto restart;
-       }
+       while (pctx_cur_char(pctx) && isspace(pctx_cur_char(pctx)))
+               pctx->pos += 1;
 }
 
-static inline void addc(char **dest, char **src)
+static inline void addc(struct uci_context *ctx, int *pos_dest, int *pos_src)
 {
-       **dest = **src;
-       *dest += 1;
-       *src += 1;
+       struct uci_parse_context *pctx = ctx->pctx;
+
+       pctx_char(pctx, *pos_dest) = pctx_char(pctx, *pos_src);
+       *pos_dest += 1;
+       *pos_src += 1;
 }
 
 /*
  * parse a double quoted string argument from the command line
  */
-static void parse_double_quote(struct uci_context *ctx, char **str, char **target)
+static void parse_double_quote(struct uci_context *ctx, int *target)
 {
+       struct uci_parse_context *pctx = ctx->pctx;
        char c;
 
        /* skip quote character */
-       *str += 1;
+       pctx->pos += 1;
 
-       while ((c = **str)) {
+       while (1) {
+               c = pctx_cur_char(pctx);
                switch(c) {
                case '"':
-                       **target = 0;
-                       *str += 1;
+                       pctx->pos += 1;
                        return;
+               case 0:
+                       /* Multi-line str value */
+                       uci_getln(ctx, pctx->pos);
+                       if (!pctx_cur_char(pctx)) {
+                               uci_parse_error(ctx, "EOF with unterminated \"");
+                       }
+                       break;
                case '\\':
-                       if (!parse_backslash(ctx, str))
+                       if (!parse_backslash(ctx))
                                continue;
                        /* fall through */
                default:
-                       addc(target, str);
+                       addc(ctx, target, &pctx->pos);
                        break;
                }
        }
-       uci_parse_error(ctx, *str, "unterminated \"");
 }
 
 /*
  * parse a single quoted string argument from the command line
  */
-static void parse_single_quote(struct uci_context *ctx, char **str, char **target)
+static void parse_single_quote(struct uci_context *ctx, int *target)
 {
+       struct uci_parse_context *pctx = ctx->pctx;
        char c;
        /* skip quote character */
-       *str += 1;
+       pctx->pos += 1;
 
-       while ((c = **str)) {
+       while (1) {
+               c = pctx_cur_char(pctx);
                switch(c) {
                case '\'':
-                       **target = 0;
-                       *str += 1;
+                       pctx->pos += 1;
                        return;
+               case 0:
+                       /* Multi-line str value */
+                       uci_getln(ctx, pctx->pos);
+                       if (!pctx_cur_char(pctx))
+                               uci_parse_error(ctx, "EOF with unterminated '");
+
+                       break;
                default:
-                       addc(target, str);
+                       addc(ctx, target, &pctx->pos);
                }
        }
-       uci_parse_error(ctx, *str, "unterminated '");
 }
 
 /*
  * parse a string from the command line and detect the quoting style
  */
-static void parse_str(struct uci_context *ctx, char **str, char **target)
+static void parse_str(struct uci_context *ctx, int *target)
 {
+       struct uci_parse_context *pctx = ctx->pctx;
+       bool next = true;
        do {
-               switch(**str) {
+               switch(pctx_cur_char(pctx)) {
                case '\'':
-                       parse_single_quote(ctx, str, target);
+                       parse_single_quote(ctx, target);
                        break;
                case '"':
-                       parse_double_quote(ctx, str, target);
+                       parse_double_quote(ctx, target);
                        break;
+               case '#':
+                       pctx_cur_char(pctx) = 0;
+                       /* fall through */
                case 0:
                        goto done;
+               case ';':
+                       next = false;
+                       goto done;
                case '\\':
-                       if (!parse_backslash(ctx, str))
+                       if (!parse_backslash(ctx))
                                continue;
                        /* fall through */
                default:
-                       addc(target, str);
+                       addc(ctx, target, &pctx->pos);
                        break;
                }
-       } while (**str && !isspace(**str));
+       } while (pctx_cur_char(pctx) && !isspace(pctx_cur_char(pctx)));
 done:
 
-       /* 
+       /*
         * if the string was unquoted and we've stopped at a whitespace
         * character, skip to the next one, because the whitespace will
         * be overwritten by a null byte here
         */
-       if (**str)
-               *str += 1;
+       if (pctx_cur_char(pctx) && next)
+               pctx->pos += 1;
 
        /* terminate the parsed string */
-       **target = 0;
+       pctx_char(pctx, *target) = 0;
 }
 
 /*
  * extract the next argument from the command line
  */
-static char *next_arg(struct uci_context *ctx, char **str, bool required, bool name)
+static int next_arg(struct uci_context *ctx, bool required, bool name, bool package)
 {
-       char *val;
-       char *ptr;
+       struct uci_parse_context *pctx = ctx->pctx;
+       int val, ptr;
+
+       skip_whitespace(ctx);
+       val = ptr = pctx_pos(pctx);
+       if (pctx_cur_char(pctx) == ';') {
+               pctx_cur_char(pctx) = 0;
+               pctx->pos += 1;
+       } else {
+               parse_str(ctx, &ptr);
+       }
+       if (!pctx_char(pctx, val)) {
+               if (required)
+                       uci_parse_error(ctx, "insufficient arguments");
+               goto done;
+       }
 
-       val = ptr = *str;
-       skip_whitespace(ctx, str);
-       parse_str(ctx, str, &ptr);
-       if (required && !*val)
-               uci_parse_error(ctx, *str, "insufficient arguments");
-       if (name && !uci_validate_name(val))
-               uci_parse_error(ctx, val, "invalid character in field");
+       if (name && !uci_validate_str(pctx_str(pctx, val), name, package))
+               uci_parse_error(ctx, "invalid character in name field");
 
+done:
        return val;
 }
 
+int uci_parse_argument(struct uci_context *ctx, FILE *stream, char **str, char **result)
+{
+       int ofs_result;
+
+       UCI_HANDLE_ERR(ctx);
+       UCI_ASSERT(ctx, str != NULL);
+       UCI_ASSERT(ctx, result != NULL);
+
+       if (ctx->pctx && (ctx->pctx->file != stream))
+               uci_cleanup(ctx);
+
+       if (!ctx->pctx)
+               uci_alloc_parse_context(ctx);
+
+       ctx->pctx->file = stream;
+       if (!*str) {
+               ctx->pctx->pos = 0;
+               uci_getln(ctx, 0);
+       }
+
+       ofs_result = next_arg(ctx, false, false, false);
+       *result = pctx_str(ctx->pctx, ofs_result);
+       *str = pctx_cur_str(ctx->pctx);
+
+       return 0;
+}
+
+/*
+ * Fixup sections functions does the fixup of all sections for given package.
+ * It is used as a preprocessing step for fixing up existing anonymous sections
+ * from configurations.
+ *
+ * It uses uci_fixup_section() from list.c and then adds delta changes.
+ */
+static void
+uci_fixup_sections(struct uci_context *ctx, struct uci_package *p)
+{
+       struct uci_element *e;
+       struct uci_section *s;
+
+       uci_foreach_element(&p->sections, e) {
+               s = uci_to_section(e);
+               s->package->name_index++;
+               uci_fixup_section(ctx, s);
+               s->anonymous = false;
+       }
+}
+
+static int
+uci_fill_ptr(struct uci_context *ctx, struct uci_ptr *ptr, struct uci_element *e)
+{
+       UCI_ASSERT(ctx, ptr != NULL);
+       UCI_ASSERT(ctx, e != NULL);
+
+       memset(ptr, 0, sizeof(struct uci_ptr));
+       switch(e->type) {
+       case UCI_TYPE_OPTION:
+               ptr->o = uci_to_option(e);
+               goto fill_option;
+       case UCI_TYPE_SECTION:
+               ptr->s = uci_to_section(e);
+               goto fill_section;
+       case UCI_TYPE_PACKAGE:
+               ptr->p = uci_to_package(e);
+               goto fill_package;
+       default:
+               UCI_THROW(ctx, UCI_ERR_INVAL);
+       }
+
+fill_option:
+       ptr->option = ptr->o->e.name;
+       ptr->s = ptr->o->section;
+fill_section:
+       ptr->section = ptr->s->e.name;
+       ptr->p = ptr->s->package;
+fill_package:
+       ptr->package = ptr->p->e.name;
+
+       ptr->flags |= UCI_LOOKUP_DONE;
+
+       return 0;
+}
+
+
+
 /*
  * verify that the end of the line or command is reached.
  * throw an error if extra arguments are given on the command line
  */
-static void assert_eol(struct uci_context *ctx, char **str)
+static void assert_eol(struct uci_context *ctx)
 {
        char *tmp;
+       int ofs_tmp;
 
-       tmp = next_arg(ctx, str, false, false);
-       if (tmp && *tmp)
-               uci_parse_error(ctx, *str, "too many arguments");
+       skip_whitespace(ctx);
+       ofs_tmp = next_arg(ctx, false, false, false);
+       tmp = pctx_str(ctx->pctx, ofs_tmp);
+       if (*tmp && (ctx->flags & UCI_FLAG_STRICT))
+               uci_parse_error(ctx, "too many arguments");
 }
 
-/* 
+/*
  * switch to a different config, either triggered by uci_load, or by a
  * 'package <...>' statement in the import file
  */
@@ -280,6 +377,7 @@ static void uci_switch_config(struct uci_context *ctx)
 
        /* add the last config to main config file list */
        if (pctx->package) {
+               pctx->package->backend = ctx->backend;
                uci_list_add(&ctx->root, &pctx->package->e.list);
 
                pctx->package = NULL;
@@ -289,11 +387,11 @@ static void uci_switch_config(struct uci_context *ctx)
        if (!name)
                return;
 
-       /* 
+       /*
         * if an older config under the same name exists, unload it
         * ignore errors here, e.g. if the config was not found
         */
-       e = uci_lookup_list(ctx, &ctx->root, name);
+       e = uci_lookup_list(&ctx->root, name);
        if (e)
                UCI_THROW(ctx, UCI_ERR_DUPLICATE);
        pctx->package = uci_alloc_package(ctx, name);
@@ -302,15 +400,18 @@ static void uci_switch_config(struct uci_context *ctx)
 /*
  * parse the 'package' uci command (next config package)
  */
-static void uci_parse_package(struct uci_context *ctx, char **str, bool single)
+static void uci_parse_package(struct uci_context *ctx, bool single)
 {
-       char *name = NULL;
+       struct uci_parse_context *pctx = ctx->pctx;
+       int ofs_name;
+       char *name;
 
        /* command string null-terminated by strtok */
-       *str += strlen(*str) + 1;
+       pctx->pos += strlen(pctx_cur_str(pctx)) + 1;
 
-       name = next_arg(ctx, str, true, true);
-       assert_eol(ctx, str);
+       ofs_name = next_arg(ctx, true, true, true);
+       name = pctx_str(pctx, ofs_name);
+       assert_eol(ctx);
        if (single)
                return;
 
@@ -321,47 +422,94 @@ static void uci_parse_package(struct uci_context *ctx, char **str, bool single)
 /*
  * parse the 'config' uci command (open a section)
  */
-static void uci_parse_config(struct uci_context *ctx, char **str)
+static void uci_parse_config(struct uci_context *ctx)
 {
-       char *name = NULL;
-       char *type = NULL;
+       struct uci_parse_context *pctx = ctx->pctx;
+       struct uci_element *e;
+       struct uci_ptr ptr;
+       int ofs_name, ofs_type;
+       char *name;
+       char *type;
 
        if (!ctx->pctx->package) {
                if (!ctx->pctx->name)
-                       uci_parse_error(ctx, *str, "attempting to import a file without a package name");
+                       uci_parse_error(ctx, "attempting to import a file without a package name");
 
                uci_switch_config(ctx);
        }
 
        /* command string null-terminated by strtok */
-       *str += strlen(*str) + 1;
+       pctx->pos += strlen(pctx_cur_str(pctx)) + 1;
+
+       ofs_type = next_arg(ctx, true, false, false);
+       type = pctx_str(pctx, ofs_type);
+       if (!uci_validate_type(type))
+               uci_parse_error(ctx, "invalid character in type field");
+
+       ofs_name = next_arg(ctx, false, true, false);
+       type = pctx_str(pctx, ofs_type);
+       name = pctx_str(pctx, ofs_name);
+       assert_eol(ctx);
+
+       if (!name || !name[0]) {
+               ctx->internal = !pctx->merge;
+               UCI_NESTED(uci_add_section, ctx, pctx->package, type, &pctx->section);
+       } else {
+               uci_fill_ptr(ctx, &ptr, &pctx->package->e);
+               e = uci_lookup_list(&pctx->package->sections, name);
+               if (e) {
+                       ptr.s = uci_to_section(e);
+
+                       if ((ctx->flags & UCI_FLAG_STRICT) && strcmp(ptr.s->type, type))
+                               uci_parse_error(ctx, "section of different type overwrites prior section with same name");
+               }
+
+               ptr.section = name;
+               ptr.value = type;
 
-       type = next_arg(ctx, str, true, true);
-       name = next_arg(ctx, str, false, true);
-       assert_eol(ctx, str);
-       ctx->pctx->section = uci_alloc_section(ctx->pctx->package, type, name);
+               ctx->internal = !pctx->merge;
+               UCI_NESTED(uci_set, ctx, &ptr);
+               pctx->section = uci_to_section(ptr.last);
+       }
 }
 
 /*
  * parse the 'option' uci command (open a value)
  */
-static void uci_parse_option(struct uci_context *ctx, char **str)
+static void uci_parse_option(struct uci_context *ctx, bool list)
 {
+       struct uci_parse_context *pctx = ctx->pctx;
+       struct uci_element *e;
+       struct uci_ptr ptr;
+       int ofs_name, ofs_value;
        char *name = NULL;
        char *value = NULL;
 
-       if (!ctx->pctx->section)
-               uci_parse_error(ctx, *str, "option command found before the first section");
+       if (!pctx->section)
+               uci_parse_error(ctx, "option/list command found before the first section");
 
        /* command string null-terminated by strtok */
-       *str += strlen(*str) + 1;
+       pctx->pos += strlen(pctx_cur_str(pctx)) + 1;
 
-       name = next_arg(ctx, str, true, true);
-       value = next_arg(ctx, str, true, false);
-       assert_eol(ctx, str);
-       uci_alloc_option(ctx->pctx->section, name, value);
-}
+       ofs_name = next_arg(ctx, true, true, false);
+       ofs_value = next_arg(ctx, false, false, false);
+       name = pctx_str(pctx, ofs_name);
+       value = pctx_str(pctx, ofs_value);
+       assert_eol(ctx);
 
+       uci_fill_ptr(ctx, &ptr, &pctx->section->e);
+       e = uci_lookup_list(&pctx->section->options, name);
+       if (e)
+               ptr.o = uci_to_option(e);
+       ptr.option = name;
+       ptr.value = value;
+
+       ctx->internal = !pctx->merge;
+       if (list)
+               UCI_NESTED(uci_add_list, ctx, &ptr);
+       else
+               UCI_NESTED(uci_set, ctx, &ptr);
+}
 
 /*
  * parse a complete input line, split up combined commands by ';'
@@ -369,33 +517,50 @@ static void uci_parse_option(struct uci_context *ctx, char **str)
 static void uci_parse_line(struct uci_context *ctx, bool single)
 {
        struct uci_parse_context *pctx = ctx->pctx;
-       char *word, *brk = NULL;
-
-       for (word = strtok_r(pctx->buf, ";", &brk);
-                word;
-                word = strtok_r(NULL, ";", &brk)) {
+       char *word;
 
-               char *pbrk = NULL;
-               word = strtok_r(word, " \t", &pbrk);
+       /* Skip whitespace characters at the start of line */
+       skip_whitespace(ctx);
+       do {
+               word = strtok(pctx_cur_str(pctx), " \t");
+               if (!word)
+                       return;
 
                switch(word[0]) {
+                       case 0:
+                       case '#':
+                               return;
                        case 'p':
                                if ((word[1] == 0) || !strcmp(word + 1, "ackage"))
-                                       uci_parse_package(ctx, &word, single);
+                                       uci_parse_package(ctx, single);
+                               else
+                                       goto invalid;
                                break;
                        case 'c':
                                if ((word[1] == 0) || !strcmp(word + 1, "onfig"))
-                                       uci_parse_config(ctx, &word);
+                                       uci_parse_config(ctx);
+                               else
+                                       goto invalid;
                                break;
                        case 'o':
                                if ((word[1] == 0) || !strcmp(word + 1, "ption"))
-                                       uci_parse_option(ctx, &word);
+                                       uci_parse_option(ctx, false);
+                               else
+                                       goto invalid;
                                break;
-                       default:
-                               uci_parse_error(ctx, word, "unterminated command");
+                       case 'l':
+                               if ((word[1] == 0) || !strcmp(word + 1, "ist"))
+                                       uci_parse_option(ctx, true);
+                               else
+                                       goto invalid;
                                break;
+                       default:
+                               goto invalid;
                }
-       }
+               continue;
+invalid:
+               uci_parse_error(ctx, "invalid command");
+       } while (1);
 }
 
 /* max number of characters that escaping adds to the string */
@@ -404,60 +569,82 @@ static void uci_parse_line(struct uci_context *ctx, bool single)
 /*
  * escape an uci string for export
  */
-static char *uci_escape(struct uci_context *ctx, char *str)
+static const char *uci_escape(struct uci_context *ctx, const char *str)
 {
-       char *s, *p;
-       int pos = 0;
+       const char *end;
+       int ofs = 0;
 
        if (!ctx->buf) {
                ctx->bufsz = LINEBUF;
                ctx->buf = malloc(LINEBUF);
+
+               if (!ctx->buf)
+                       return str;
        }
 
-       s = str;
-       p = strchr(str, '\'');
-       if (!p)
-               return str;
+       while (1) {
+               int len;
 
-       do {
-               int len = p - s;
-               if (len > 0) {
-                       if (p + sizeof(UCI_QUOTE_ESCAPE) - str >= ctx->bufsz) {
-                               ctx->bufsz *= 2;
-                               ctx->buf = realloc(ctx->buf, ctx->bufsz);
-                               if (!ctx->buf)
-                                       UCI_THROW(ctx, UCI_ERR_MEM);
-                       }
-                       memcpy(&ctx->buf[pos], s, len);
-                       pos += len;
+               end = strchr(str, '\'');
+               if (!end)
+                       end = str + strlen(str);
+               len = end - str;
+
+               /* make sure that we have enough room in the buffer */
+               while (ofs + len + sizeof(UCI_QUOTE_ESCAPE) + 1 > ctx->bufsz) {
+                       ctx->bufsz *= 2;
+                       ctx->buf = uci_realloc(ctx, ctx->buf, ctx->bufsz);
                }
-               strcpy(&ctx->buf[pos], UCI_QUOTE_ESCAPE);
-               pos += sizeof(UCI_QUOTE_ESCAPE);
-               s = p + 1;
-       } while ((p = strchr(s, '\'')));
 
+               /* copy the string until the character before the quote */
+               memcpy(&ctx->buf[ofs], str, len);
+               ofs += len;
+
+               /* end of string? return the buffer */
+               if (*end == 0)
+                       break;
+
+               memcpy(&ctx->buf[ofs], UCI_QUOTE_ESCAPE, sizeof(UCI_QUOTE_ESCAPE));
+               ofs += strlen(&ctx->buf[ofs]);
+               str = end + 1;
+       }
+
+       ctx->buf[ofs] = 0;
        return ctx->buf;
 }
 
-
 /*
  * export a single config package to a file stream
  */
 static void uci_export_package(struct uci_package *p, FILE *stream, bool header)
 {
        struct uci_context *ctx = p->ctx;
-       struct uci_element *s, *o;
+       struct uci_element *s, *o, *i;
 
        if (header)
-               fprintf(stream, "package '%s'\n", uci_escape(ctx, p->e.name));
+               fprintf(stream, "package %s\n", uci_escape(ctx, p->e.name));
        uci_foreach_element(&p->sections, s) {
                struct uci_section *sec = uci_to_section(s);
-               fprintf(stream, "\nconfig '%s'", uci_escape(ctx, sec->type));
-               fprintf(stream, " '%s'\n", uci_escape(ctx, sec->e.name));
+               fprintf(stream, "\nconfig %s", uci_escape(ctx, sec->type));
+               fprintf(stream, " '%s'", uci_escape(ctx, sec->e.name));
+               fprintf(stream, "\n");
                uci_foreach_element(&sec->options, o) {
                        struct uci_option *opt = uci_to_option(o);
-                       fprintf(stream, "\toption '%s'", uci_escape(ctx, opt->e.name));
-                       fprintf(stream, " '%s'\n", uci_escape(ctx, opt->value));
+                       switch(opt->type) {
+                       case UCI_TYPE_STRING:
+                               fprintf(stream, "\toption %s", uci_escape(ctx, opt->e.name));
+                               fprintf(stream, " '%s'\n", uci_escape(ctx, opt->v.string));
+                               break;
+                       case UCI_TYPE_LIST:
+                               uci_foreach_element(&opt->v.list, i) {
+                                       fprintf(stream, "\tlist %s", uci_escape(ctx, opt->e.name));
+                                       fprintf(stream, " '%s'\n", uci_escape(ctx, i->name));
+                               }
+                               break;
+                       default:
+                               fprintf(stream, "\t# unknown type for option '%s'\n", uci_escape(ctx, opt->e.name));
+                               break;
+                       }
                }
        }
        fprintf(stream, "\n");
@@ -484,25 +671,32 @@ int uci_export(struct uci_context *ctx, FILE *stream, struct uci_package *packag
 int uci_import(struct uci_context *ctx, FILE *stream, const char *name, struct uci_package **package, bool single)
 {
        struct uci_parse_context *pctx;
+       UCI_HANDLE_ERR(ctx);
 
        /* make sure no memory from previous parse attempts is leaked */
-       uci_file_cleanup(ctx);
+       uci_cleanup(ctx);
 
-       pctx = (struct uci_parse_context *) uci_malloc(ctx, sizeof(struct uci_parse_context));
-       ctx->pctx = pctx;
+       uci_alloc_parse_context(ctx);
+       pctx = ctx->pctx;
        pctx->file = stream;
+       if (package && *package && single) {
+               pctx->package = *package;
+               pctx->merge = true;
+       }
 
        /*
         * If 'name' was supplied, assume that the supplied stream does not contain
         * the appropriate 'package <name>' string to specify the config name
         * NB: the config file can still override the package name
         */
-       if (name)
+       if (name) {
+               UCI_ASSERT(ctx, uci_validate_package(name));
                pctx->name = name;
+       }
 
        while (!feof(pctx->file)) {
+               pctx->pos = 0;
                uci_getln(ctx, 0);
-
                UCI_TRAP_SAVE(ctx, error);
                if (pctx->buf[0])
                        uci_parse_line(ctx, single);
@@ -511,281 +705,135 @@ int uci_import(struct uci_context *ctx, FILE *stream, const char *name, struct u
 error:
                if (ctx->flags & UCI_FLAG_PERROR)
                        uci_perror(ctx, NULL);
-               if ((ctx->errno != UCI_ERR_PARSE) ||
+               if ((ctx->err != UCI_ERR_PARSE) ||
                        (ctx->flags & UCI_FLAG_STRICT))
-                       UCI_THROW(ctx, ctx->errno);
+                       UCI_THROW(ctx, ctx->err);
        }
 
+       if (!pctx->package && name)
+               uci_switch_config(ctx);
        if (package)
                *package = pctx->package;
+       if (pctx->merge)
+               pctx->package = NULL;
 
+       uci_fixup_sections(ctx, *package);
        pctx->name = NULL;
        uci_switch_config(ctx);
 
        /* no error happened, we can get rid of the parser context now */
-       uci_file_cleanup(ctx);
+       uci_cleanup(ctx);
 
        return 0;
 }
 
-/*
- * open a stream and go to the right position
- *
- * note: when opening for write and seeking to the beginning of
- * the stream, truncate the file
- */
-static FILE *uci_open_stream(struct uci_context *ctx, const char *filename, int pos, bool write)
-{
-       struct stat statbuf;
-       FILE *file = NULL;
-       int fd, ret;
-
-       if (!write && ((stat(filename, &statbuf) < 0) ||
-               ((statbuf.st_mode &  S_IFMT) != S_IFREG))) {
-               UCI_THROW(ctx, UCI_ERR_NOTFOUND);
-       }
 
-       fd = open(filename, (write ? O_RDWR | O_CREAT : O_RDONLY));
-       if (fd <= 0)
-               goto error;
-
-       if (flock(fd, (write ? LOCK_EX : LOCK_SH)) < 0)
-               goto error;
-
-       if (write && (pos == SEEK_SET))
-               ret = ftruncate(fd, 0);
-       else
-               ret = lseek(fd, 0, pos);
-
-       if (ret < 0)
-               goto error;
-
-       file = fdopen(fd, (write ? "w" : "r"));
-       if (file)
-               goto done;
-
-error:
-       UCI_THROW(ctx, UCI_ERR_IO);
-done:
-       return file;
-}
-
-static void uci_close_stream(FILE *stream)
-{
-       int fd;
-
-       if (!stream)
-               return;
-
-       fd = fileno(stream);
-       flock(fd, LOCK_UN);
-       fclose(stream);
-}
-
-static void uci_parse_history_line(struct uci_context *ctx, struct uci_package *p, char *buf)
-{
-       bool delete = false;
-       char *package = NULL;
-       char *section = NULL;
-       char *option = NULL;
-       char *value = NULL;
-
-       if (buf[0] == '-') {
-               delete = true;
-               buf++;
-       }
-
-       UCI_INTERNAL(uci_parse_tuple, ctx, buf, &package, &section, &option, &value);
-       if (!package || !section || (!delete && !value))
-               goto error;
-       if (strcmp(package, p->e.name) != 0)
-               goto error;
-       if (!uci_validate_name(section))
-               goto error;
-       if (option && !uci_validate_name(option))
-               goto error;
-
-       if (delete)
-               UCI_INTERNAL(uci_del, ctx, p, section, option);
-       else
-               UCI_INTERNAL(uci_set, ctx, p, section, option, value);
-
-       return;
-error:
-       UCI_THROW(ctx, UCI_ERR_PARSE);
-}
-
-static void uci_parse_history(struct uci_context *ctx, FILE *stream, struct uci_package *p)
+static char *uci_config_path(struct uci_context *ctx, const char *name)
 {
-       struct uci_parse_context *pctx;
-
-       /* make sure no memory from previous parse attempts is leaked */
-       uci_file_cleanup(ctx);
-
-       pctx = (struct uci_parse_context *) uci_malloc(ctx, sizeof(struct uci_parse_context));
-       ctx->pctx = pctx;
-       pctx->file = stream;
+       char *filename;
 
-       rewind(stream);
-       while (!feof(pctx->file)) {
-               uci_getln(ctx, 0);
-               if (!pctx->buf[0])
-                       continue;
-               uci_parse_history_line(ctx, p, pctx->buf);
-       }
+       UCI_ASSERT(ctx, uci_validate_package(name));
+       filename = uci_malloc(ctx, strlen(name) + strlen(ctx->confdir) + 2);
+       sprintf(filename, "%s/%s", ctx->confdir, name);
 
-       /* no error happened, we can get rid of the parser context now */
-       uci_file_cleanup(ctx);
+       return filename;
 }
 
-static void uci_load_history(struct uci_context *ctx, struct uci_package *p)
+static void uci_file_commit(struct uci_context *ctx, struct uci_package **package, bool overwrite)
 {
+       struct uci_package *p = *package;
+       FILE *f1, *f2 = NULL;
+       char *name = NULL;
+       char *path = NULL;
        char *filename = NULL;
-       FILE *f = NULL;
-
-       if (!p->confdir)
-               return;
-       if ((asprintf(&filename, "%s/%s", UCI_SAVEDIR, p->e.name) < 0) || !filename)
-               UCI_THROW(ctx, UCI_ERR_MEM);
-
-       UCI_TRAP_SAVE(ctx, done);
-       f = uci_open_stream(ctx, filename, SEEK_SET, false);
-       uci_parse_history(ctx, f, p);
-       UCI_TRAP_RESTORE(ctx);
-done:
-       if (filename)
-               free(filename);
-       uci_close_stream(f);
-       ctx->errno = 0;
-}
-
-int uci_load(struct uci_context *ctx, const char *name, struct uci_package **package)
-{
-       char *filename;
-       bool confdir;
-       FILE *file = NULL;
-
-       UCI_HANDLE_ERR(ctx);
-       UCI_ASSERT(ctx, name != NULL);
+       struct stat statbuf;
+       bool do_rename = false;
 
-       switch (name[0]) {
-       case '.':
-               /* relative path outside of /etc/config */
-               if (name[1] != '/')
-                       UCI_THROW(ctx, UCI_ERR_NOTFOUND);
-               /* fall through */
-       case '/':
-               /* absolute path outside of /etc/config */
-               filename = uci_strdup(ctx, name);
-               name = strrchr(name, '/') + 1;
-               confdir = false;
-               break;
-       default:
-               /* config in /etc/config */
-               if (strchr(name, '/'))
+       if (!p->path) {
+               if (overwrite)
+                       p->path = uci_config_path(ctx, p->e.name);
+               else
                        UCI_THROW(ctx, UCI_ERR_INVAL);
-               filename = uci_malloc(ctx, strlen(name) + sizeof(UCI_CONFDIR) + 2);
-               sprintf(filename, UCI_CONFDIR "/%s", name);
-               confdir = true;
-               break;
-       }
-
-       file = uci_open_stream(ctx, filename, SEEK_SET, false);
-       ctx->errno = 0;
-       UCI_TRAP_SAVE(ctx, done);
-       uci_import(ctx, file, name, package, true);
-       UCI_TRAP_RESTORE(ctx);
-
-       if (*package) {
-               (*package)->path = filename;
-               (*package)->confdir = confdir;
-               uci_load_history(ctx, *package);
        }
 
-done:
-       uci_close_stream(file);
-       return ctx->errno;
-}
-
-int uci_save(struct uci_context *ctx, struct uci_package *p)
-{
-       FILE *f = NULL;
-       char *filename = NULL;
-       struct uci_element *e, *tmp;
-
-       UCI_HANDLE_ERR(ctx);
-       UCI_ASSERT(ctx, p != NULL);
-
-       /* 
-        * if the config file was outside of the /etc/config path,
-        * don't save the history to a file, update the real file
-        * directly
-        */
-       if (!p->confdir)
-               return uci_commit(ctx, p);
-
-       if (uci_list_empty(&p->history))
-               return 0;
-
-       if ((asprintf(&filename, "%s/%s", UCI_SAVEDIR, p->e.name) < 0) || !filename)
+       if ((asprintf(&filename, "%s/.%s.uci-XXXXXX", ctx->confdir, p->e.name) < 0) || !filename)
                UCI_THROW(ctx, UCI_ERR_MEM);
 
-       ctx->errno = 0;
-       UCI_TRAP_SAVE(ctx, done);
-       f = uci_open_stream(ctx, filename, SEEK_END, true);
-       UCI_TRAP_RESTORE(ctx);
-
-       uci_foreach_element_safe(&p->history, tmp, e) {
-               struct uci_history *h = uci_to_history(e);
+       /* open the config file for writing now, so that it is locked */
+       f1 = uci_open_stream(ctx, p->path, NULL, SEEK_SET, true, true);
 
-               if (h->cmd == UCI_CMD_REMOVE)
-                       fprintf(f, "-");
-
-               fprintf(f, "%s.%s", p->e.name, h->section);
-               if (e->name)
-                       fprintf(f, ".%s", e->name);
+       /* flush unsaved changes and reload from delta file */
+       UCI_TRAP_SAVE(ctx, done);
+       if (p->has_delta) {
+               if (!overwrite) {
+                       name = uci_strdup(ctx, p->e.name);
+                       path = uci_strdup(ctx, p->path);
+                       /* dump our own changes to the delta file */
+                       if (!uci_list_empty(&p->delta))
+                               UCI_INTERNAL(uci_save, ctx, p);
+
+                       /*
+                        * other processes might have modified the config
+                        * as well. dump and reload
+                        */
+                       uci_free_package(&p);
+                       uci_cleanup(ctx);
+                       UCI_INTERNAL(uci_import, ctx, f1, name, &p, true);
+
+                       p->path = path;
+                       p->has_delta = true;
+                       *package = p;
+
+                       /* freed together with the uci_package */
+                       path = NULL;
+               }
 
-               if (h->cmd == UCI_CMD_REMOVE)
-                       fprintf(f, "\n");
-               else
-                       fprintf(f, "=%s\n", h->value);
-               uci_free_history(h);
+               /* flush delta */
+               if (!uci_load_delta(ctx, p, true))
+                       goto done;
        }
 
-done:
-       uci_close_stream(f);
-       if (filename)
+       if (!mktemp(filename))
+               *filename = 0;
+
+       if (!*filename) {
                free(filename);
-       if (ctx->errno)
-               UCI_THROW(ctx, ctx->errno);
+               UCI_THROW(ctx, UCI_ERR_IO);
+       }
 
-       return 0;
-}
+       if ((stat(filename, &statbuf) == 0) && ((statbuf.st_mode & S_IFMT) != S_IFREG))
+               UCI_THROW(ctx, UCI_ERR_IO);
 
-int uci_commit(struct uci_context *ctx, struct uci_package *p)
-{
-       FILE *f = NULL;
+       f2 = uci_open_stream(ctx, filename, p->path, SEEK_SET, true, true);
+       uci_export(ctx, f2, p, false);
 
-       UCI_HANDLE_ERR(ctx);
-       UCI_ASSERT(ctx, p != NULL);
-       UCI_ASSERT(ctx, p->path != NULL);
+       fflush(f2);
+       fsync(fileno(f2));
+       uci_close_stream(f2);
 
-       f = uci_open_stream(ctx, p->path, SEEK_SET, true);
+       do_rename = true;
 
-       UCI_TRAP_SAVE(ctx, done);
-       uci_export(ctx, f, p, false);
        UCI_TRAP_RESTORE(ctx);
 
 done:
-       uci_close_stream(f);
-       if (ctx->errno)
-               UCI_THROW(ctx, ctx->errno);
-
-       return 0;
+       free(name);
+       free(path);
+       uci_close_stream(f1);
+       if (do_rename) {
+               path = realpath(p->path, NULL);
+               if (!path || rename(filename, path)) {
+                       unlink(filename);
+                       UCI_THROW(ctx, UCI_ERR_IO);
+               }
+               free(path);
+       }
+       free(filename);
+       if (ctx->err)
+               UCI_THROW(ctx, ctx->err);
 }
 
 
-/* 
+/*
  * This function returns the filename by returning the string
  * after the last '/' character. By checking for a non-'\0'
  * character afterwards, directories are ignored (glob marks
@@ -802,17 +850,20 @@ static inline char *get_filename(char *path)
        return p;
 }
 
-int uci_list_configs(struct uci_context *ctx, char ***list)
+static char **uci_list_config_files(struct uci_context *ctx)
 {
        char **configs;
        glob_t globbuf;
        int size, i;
        char *buf;
+       char *dir;
 
-       UCI_HANDLE_ERR(ctx);
-
-       if (glob(UCI_CONFDIR "/*", GLOB_MARK, NULL, &globbuf) != 0)
+       dir = uci_malloc(ctx, strlen(ctx->confdir) + 1 + sizeof("/*"));
+       sprintf(dir, "%s/*", ctx->confdir);
+       if (glob(dir, GLOB_MARK, NULL, &globbuf) != 0) {
+               free(dir);
                UCI_THROW(ctx, UCI_ERR_NOTFOUND);
+       }
 
        size = sizeof(char *) * (globbuf.gl_pathc + 1);
        for(i = 0; i < globbuf.gl_pathc; i++) {
@@ -834,12 +885,69 @@ int uci_list_configs(struct uci_context *ctx, char ***list)
                if (!p)
                        continue;
 
+               if (!uci_validate_package(p))
+                       continue;
+
                configs[i] = buf;
                strcpy(buf, p);
                buf += strlen(buf) + 1;
        }
-       *list = configs;
+       free(dir);
+       globfree(&globbuf);
+       return configs;
+}
 
-       return 0;
+static struct uci_package *uci_file_load(struct uci_context *ctx, const char *name)
+{
+       struct uci_package *package = NULL;
+       char *filename;
+       bool confdir;
+       FILE *file = NULL;
+       size_t n_change;
+
+       switch (name[0]) {
+       case '.':
+               /* relative path outside of /etc/config */
+               if (name[1] != '/')
+                       UCI_THROW(ctx, UCI_ERR_NOTFOUND);
+               /* fall through */
+       case '/':
+               /* absolute path outside of /etc/config */
+               filename = uci_strdup(ctx, name);
+               name = strrchr(name, '/') + 1;
+               confdir = false;
+               break;
+       default:
+               /* config in /etc/config */
+               filename = uci_config_path(ctx, name);
+               confdir = true;
+               break;
+       }
+
+       UCI_TRAP_SAVE(ctx, done);
+       file = uci_open_stream(ctx, filename, NULL, SEEK_SET, false, false);
+       ctx->err = 0;
+       UCI_INTERNAL(uci_import, ctx, file, name, &package, true);
+       UCI_TRAP_RESTORE(ctx);
+
+       if (package) {
+               package->path = filename;
+               package->has_delta = confdir;
+               n_change = uci_load_delta(ctx, package, false);
+               package->name_index += n_change;
+       }
+
+done:
+       uci_close_stream(file);
+       if (ctx->err) {
+               free(filename);
+               UCI_THROW(ctx, ctx->err);
+       }
+       return package;
 }
 
+__private UCI_BACKEND(uci_file_backend, "file",
+       .load = uci_file_load,
+       .commit = uci_file_commit,
+       .list_configs = uci_list_config_files,
+);