Merge branch 'topic/mm-fixes' of git://208.110.73.182/silc into silc.1.1.branch
[silc.git] / lib / silcutil / silcbuffmt.h
index 271137bf19e38341050aa4e54135b51c6fe4aa11..909d6ead5263dcacde272995fe772a909f970975 100644 (file)
@@ -4,7 +4,7 @@
 
   Author: Pekka Riikonen <priikone@silcnet.org>
 
-  Copyright (C) 1997 - 2006 Pekka Riikonen
+  Copyright (C) 1997 - 2007 Pekka Riikonen
 
   This program is free software; you can redistribute it and/or modify
   it under the terms of the GNU General Public License as published by
  * into specified data types.  It is especially useful to format packets,
  * protocol payloads and such.
  *
+ * As the SilcBuffer API is not thread-safe these routines may not be used
+ * in multithreaded environment with a same SilcBuffer context without
+ * concurrency control.
+ *
  ***/
 
 #ifndef SILCBUFFMT_H
 #define SILCBUFFMT_H
 
+/****f* silcutil/SilcBufferFormatAPI/SilcBufferFormatFunc
+ *
+ * SYNOPSIS
+ *
+ *    typedef int (*SilcBufferFormatFunc)(SilcBuffer buffer,
+ *                                        void *value,
+ *                                        void *context);
+ *
+ * DESCRIPTION
+ *
+ *    Formatting function callback given with SILC_STR_FUNC type.  The
+ *    `buffer' is the buffer being formatted at the location where the
+ *    SILC_STR_FUNC was placed in formatting.  The function should call
+ *    silc_buffer_enlarge before it adds the data to the buffer to make
+ *    sure that it has enough space.  The buffer->head points to the
+ *    start of the buffer and silc_buffer_headlen() gives the length
+ *    of the currently formatted data area.  It is also possible to use
+ *    silc_buffer_format with `buffer' which will enlarge the buffer if
+ *    needed.
+ *
+ *    The `value' is the value given to SILC_STR_FUNC that is to be formatted
+ *    into the buffer.  It may be NULL if the function is not formatting
+ *    new data into the buffer.  The `context' is caller specific context.
+ *    Returns -1 on error and length of the formatted value otherwise, and
+ *    0 if nothing was formatted.
+ *
+ ***/
+typedef int (*SilcBufferFormatFunc)(SilcBuffer buffer, void *value,
+                                   void *context);
+
+/****f* silcutil/SilcBufferFormatAPI/SilcBufferSFormatFunc
+ *
+ * SYNOPSIS
+ *
+ *    typedef int (*SilcBufferSFormatFunc)(SilcStack stack,
+ *                                         SilcBuffer buffer,
+ *                                         void *value,
+ *                                         void *context);
+ *
+ * DESCRIPTION
+ *
+ *    Formatting function callback given with SILC_STR_FUNC type.  The
+ *    `buffer' is the buffer being formatted at the location where the
+ *    SILC_STR_FUNC was placed in formatting.  The function should call
+ *    silc_buffer_senlarge before it adds the data to the buffer to make
+ *    sure that it has enough space.  The buffer->head points to the
+ *    start of the buffer and silc_buffer_headlen() gives the length
+ *    of the currently formatted data area.  It is also possible to use
+ *    silc_buffer_sformat with `buffer' which will enlarge the buffer if
+ *    needed.
+ *
+ *    The `value' is the value given to SILC_STR_FUNC that is to be formatted
+ *    into the buffer.  It may be NULL if the function is not formatting
+ *    new data into the buffer.  The `context' is caller specific context.
+ *    Returns -1 on error and length of the formatted value otherwise, and
+ *    0 if nothing was formatted.
+ *
+ *    This is same as SilcBufferFormatFunc except the SilcStack will be
+ *    delivered.  This callback must be used when SilcStack is used with
+ *    formatting.
+ *
+ ***/
+typedef int (*SilcBufferSFormatFunc)(SilcStack stack, SilcBuffer buffer,
+                                    void *value, void *context);
+
+/****f* silcutil/SilcBufferFormatAPI/SilcBufferUnformatFunc
+ *
+ * SYNOPSIS
+ *
+ *    typedef int (*SilcBufferUnformatFunc)(SilcBuffer buffer,
+ *                                          void **value,
+ *                                          void *context);
+ *
+ * DESCRIPTION
+ *
+ *    Unformatting function callback given with SILC_STR_FUNC type.  The
+ *    `buffer' is the buffer being unformatted and is at the location where
+ *    the SILC_STR_FUNC was placed in unformatting.  The function should
+ *    check there is enough data in the `buffer' before trying to decode
+ *    from it.
+ *
+ *    If this function unformats anything from the buffer its value is to
+ *    be returned to the `value' pointer.  The implementation should itself
+ *    decide whether the unformatted value is allocated or not.  If this
+ *    function does not unformat anything, nothing is returned to `value'
+ *
+ *    The `context' is caller specific context.  Returns -1 on error, and
+ *    length of the unformatted value otherwise, and 0 if nothing was
+ *    unformatted.
+ *
+ ***/
+typedef int (*SilcBufferUnformatFunc)(SilcBuffer buffer, void **value,
+                                     void *context);
+
+/****f* silcutil/SilcBufferFormatAPI/SilcBufferSUnformatFunc
+ *
+ * SYNOPSIS
+ *
+ *    typedef int (*SilcBufferSUnformatFunc)(SilcStack stack,
+ *                                           SilcBuffer buffer,
+ *                                           void **value,
+ *                                           void *context);
+ *
+ * DESCRIPTION
+ *
+ *    Unformatting function callback given with SILC_STR_FUNC type.  The
+ *    `buffer' is the buffer being unformatted and is at the location where
+ *    the SILC_STR_FUNC was placed in unformatting.  The function should
+ *    check there is enough data in the `buffer' before trying to decode
+ *    from it.
+ *
+ *    If this function unformats anything from the buffer its value is to
+ *    be returned to the `value' pointer.  The implementation should itself
+ *    decide whether the unformatted value is allocated or not.  If this
+ *    function does not unformat anything, nothing is returned to `value'
+ *
+ *    The `context' is caller specific context.  Returns -1 on error, and
+ *    length of the unformatted value otherwise, and 0 if nothing was
+ *    unformatted.
+ *
+ *    This is same as SilcBufferUnformatFunc except the SilcStack will be
+ *    delivered.  This callback must be used when SilcStack is used with
+ *    unformatting.
+ *
+ ***/
+typedef int (*SilcBufferSUnformatFunc)(SilcStack stack, SilcBuffer buffer,
+                                      void **value, void *context);
+
 /* Prototypes */
 
 /****f* silcutil/SilcBufferFormatAPI/silc_buffer_format
  *
  * EXAMPLE
  *
+ *    Three basic ways of using silc_buffer_format:
+ *
+ *    // Statically allocated zero size buffer
  *    SilcBufferStruct buffer;
- *    SilcBuffer buf;
  *
  *    memset(&buffer, 0, sizeof(buffer));
  *    ret = silc_buffer_format(&buffer,
- *                             SILC_STR_INT(intval),
+ *                             SILC_STR_UI_INT(intval),
  *                             SILC_STR_CHAR(charval),
- *                             SILC_STR_INT(intval),
+ *                             SILC_STR_UI_INT(intval),
  *                             SILC_STR_SHORT(str_len),
- *                             SILC_STR_UI_XNSTRING(str, str_len),
+ *                             SILC_STR_DATA(str, str_len),
  *                             SILC_STR_END);
  *    if (ret < 0)
  *      error;
  *    // Free the allocated data
  *    silc_buffer_purge(&buffer);
  *
- *    // Allocate zero size buffer
+ *    // Dynamically allocated zero size buffer
+ *    SilcBuffer buf;
  *    buf = silc_buffer_alloc(0);
  *    ret = silc_buffer_format(buf,
- *                             SILC_STR_INT(intval),
+ *                             SILC_STR_UI_INT(intval),
  *                             SILC_STR_CHAR(charval),
  *                             SILC_STR_END);
+ *    if (ret < 0)
+ *      error;
  *
  *    // Free the allocated buffer
  *    silc_buffer_free(buf);
  *
+ *    // Dynamically allocated buffer with enough space
+ *    SilcBuffer buf;
+ *    buf = silc_buffer_alloc(2 + str_len);
+ *    ret = silc_buffer_format(buf,
+ *                             SILC_STR_UI_SHORT(str_len),
+ *                             SILC_STR_DATA(str, str_len),
+ *                             SILC_STR_END);
+ *    if (ret < 0)
+ *      error;
+ *
  ***/
 int silc_buffer_format(SilcBuffer dst, ...);
 
@@ -106,11 +253,11 @@ int silc_buffer_sformat(SilcStack stack, SilcBuffer dst, ...);
  ***/
 int silc_buffer_format_vp(SilcBuffer dst, va_list ap);
 
-/****f* silcutil/SilcBufferFormatAPI/silc_buffer_format_vp
+/****f* silcutil/SilcBufferFormatAPI/silc_buffer_sformat_vp
  *
  * SYNOPSIS
  *
- *    int silc_buffer_format_vp(SilcBuffer dst, va_list vp);
+ *    int silc_buffer_sformat_vp(SilcStack stack, SilcBuffer dst, va_list vp);
  *
  * DESCRIPTION
  *
@@ -134,7 +281,7 @@ int silc_buffer_sformat_vp(SilcStack stack, SilcBuffer dst, va_list ap);
  * EXAMPLE
  *
  *    ret = silc_buffer_unformat(buffer,
- *                               SILC_STR_INT(&intval),
+ *                               SILC_STR_UI_INT(&intval),
  *                               SILC_STR_CHAR(&charval),
  *                               SILC_STR_OFFSET(4),
  *                               SILC_STR_UI16_NSTRING_ALLOC(&str, &str_len),
@@ -145,6 +292,20 @@ int silc_buffer_sformat_vp(SilcStack stack, SilcBuffer dst, va_list ap);
  ***/
 int silc_buffer_unformat(SilcBuffer src, ...);
 
+/****f* silcutil/SilcBufferFormatAPI/silc_buffer_sunformat
+ *
+ * SYNOPSIS
+ *
+ *    int silc_buffer_sunformat(SilcStack stack, SilcBuffer src, ...);
+ *
+ * DESCRIPTION
+ *
+ *    Same as silc_buffer_unformat but uses `stack' to allocate the memory.
+ *    if `stack' is NULL reverts back to silc_buffer_format call.
+ *
+ ***/
+int silc_buffer_sunformat(SilcStack stack, SilcBuffer src, ...);
+
 /****f* silcutil/SilcBufferFormatAPI/silc_buffer_unformat_vp
  *
  * SYNOPSIS
@@ -159,20 +320,34 @@ int silc_buffer_unformat(SilcBuffer src, ...);
  ***/
 int silc_buffer_unformat_vp(SilcBuffer src, va_list ap);
 
+/****f* silcutil/SilcBufferFormatAPI/silc_buffer_sunformat_vp
+ *
+ * SYNOPSIS
+ *
+ *    int silc_buffer_sunformat_vp(SilcBuffer src, va_list vp);
+ *
+ * DESCRIPTION
+ *
+ *    Same as silc_buffer_unformat_vp but uses `stack' to allocate the
+ *    memory.  if `stack' is NULL reverts back to silc_buffer_format_vp call.
+ *
+ ***/
+int silc_buffer_sunformat_vp(SilcStack stack, SilcBuffer src, va_list ap);
+
 /****f* silcutil/SilcBufferFormatAPI/silc_buffer_strformat
  *
  * SYNOPSIS
  *
- *   int silc_buffer_strformat(SilcBuffer dst, ...);
+ *    int silc_buffer_strformat(SilcBuffer dst, ...);
  *
  * DESCRIPTION
  *
- *   Formats a buffer from variable argument list of strings.  Each
- *   string must be NULL-terminated and the variable argument list must
- *   be end with SILC_STR_END argument.  This allows that a string in
- *   the list can be NULL, in which case it is skipped.  This automatically
- *   allocates the space for the buffer data but `dst' must be already
- *   allocated by the caller.
+ *    Formats a buffer from variable argument list of strings.  Each
+ *    string must be NULL-terminated and the variable argument list must
+ *    be end with SILC_STRFMT_END argument.  This allows that a string in
+ *    the list can be NULL, in which case it is skipped.  This automatically
+ *    allocates the space for the buffer data but `dst' must be already
+ *    allocated by the caller.
  *
  * EXAMPLE
  *
@@ -187,73 +362,74 @@ int silc_buffer_strformat(SilcBuffer dst, ...);
  *
  * SYNOPSIS
  *
- *   int silc_buffer_strformat(SilcStack stack, SilcBuffer dst, ...);
+ *    int silc_buffer_strformat(SilcStack stack, SilcBuffer dst, ...);
  *
  * DESCRIPTION
  *
- *   Formats a buffer from variable argument list of strings.  Each
- *   string must be NULL-terminated and the variable argument list must
- *   be end with SILC_STR_END argument.  This allows that a string in
- *   the list can be NULL, in which case it is skipped.  This automatically
- *   allocates the space for the buffer data but `dst' must be already
- *   allocated by the caller.  This function is equivalent to
- *   silc_buffer_strformat but allocates memory from `stack'.
+ *    Formats a buffer from variable argument list of strings.  Each
+ *    string must be NULL-terminated and the variable argument list must
+ *    be end with SILC_STRFMT_END argument.  This allows that a string in
+ *    the list can be NULL, in which case it is skipped.  This automatically
+ *    allocates the space for the buffer data but `dst' must be already
+ *    allocated by the caller.  This function is equivalent to
+ *    silc_buffer_strformat but allocates memory from `stack'.
  *
  ***/
 int silc_buffer_sstrformat(SilcStack stack, SilcBuffer dst, ...);
 
-/* Macros for expanding parameters into variable function argument list.
-   These are passed to silc_buffer_format and silc_buffer_unformat
-   functions. */
-
-/* Buffer parameter types.
-
-   _SI_ = signed
-   _UI_ = unsigned
-
-  Any XXX_STRING_ALLOC types will allocate space for the data and
-  memcpy the data to the pointer sent as argument (in unformatting).
-
-  Any XXX_STRING will not allocate or copy any data.  Instead it
-  will set the pointer to the data.  Note that the data pointer
-  returned (in unformatting) must not be freed.
-
-*/
+/****d* silcutil/SilcBufferFormatAPI/SilcBufferParamType
+ *
+ * NAME
+ *
+ *    typedef enum { ... } SilcBufferParamType;
+ *
+ * DESCRIPTION
+ *
+ *    Buffer parameter types.  These are not needed when formatting or
+ *    unformatting buffers.  Use the macros such as SILC_STR_UI_CHAR and
+ *    others instead.  These types may be used when describing what a
+ *    buffer looks like, and how it may be formatted and unformatted.
+ *
+ * SOURCE
+ */
 typedef enum {
-  SILC_BUFFER_PARAM_SI8_CHAR,
-  SILC_BUFFER_PARAM_UI8_CHAR,
-
-  SILC_BUFFER_PARAM_SI16_SHORT,
-  SILC_BUFFER_PARAM_UI16_SHORT,
-
-  SILC_BUFFER_PARAM_SI32_INT,
-  SILC_BUFFER_PARAM_UI32_INT,
-
-  SILC_BUFFER_PARAM_SI64_INT,
-  SILC_BUFFER_PARAM_UI64_INT,
-
-  SILC_BUFFER_PARAM_UI8_STRING,         /* No copy */
-  SILC_BUFFER_PARAM_UI8_STRING_ALLOC,  /* Alloc + memcpy */
-  SILC_BUFFER_PARAM_UI16_STRING,        /* No copy */
-  SILC_BUFFER_PARAM_UI16_STRING_ALLOC, /* Alloc + memcpy */
-  SILC_BUFFER_PARAM_UI32_STRING,       /* No copy */
-  SILC_BUFFER_PARAM_UI32_STRING_ALLOC, /* Alloc + memcpy */
-  SILC_BUFFER_PARAM_UI8_NSTRING,       /* No copy */
-  SILC_BUFFER_PARAM_UI8_NSTRING_ALLOC, /* Alloc + memcpy */
-  SILC_BUFFER_PARAM_UI16_NSTRING,      /* No copy */
-  SILC_BUFFER_PARAM_UI16_NSTRING_ALLOC,        /* Alloc + memcpy */
-  SILC_BUFFER_PARAM_UI32_NSTRING,      /* No copy */
-  SILC_BUFFER_PARAM_UI32_NSTRING_ALLOC,        /* Alloc + memcpy */
-  SILC_BUFFER_PARAM_UI_XNSTRING,       /* No copy */
-  SILC_BUFFER_PARAM_UI_XNSTRING_ALLOC, /* Alloc + memcpy */
-  SILC_BUFFER_PARAM_DATA,              /* No copy */
-  SILC_BUFFER_PARAM_DATA_ALLOC,                /* Alloc + memcpy */
-
-  SILC_BUFFER_PARAM_OFFSET,
-  SILC_BUFFER_PARAM_ADVANCE,
-
-  SILC_BUFFER_PARAM_END
+  SILC_PARAM_SI8_CHAR,            /* Signed 8-bit char */
+  SILC_PARAM_UI8_CHAR,            /* Unsigned 8-bit char */
+  SILC_PARAM_SI16_SHORT,          /* Signed 16-bit int */
+  SILC_PARAM_UI16_SHORT,          /* Unsigned 16-bit int */
+  SILC_PARAM_SI32_INT,            /* Signed 32-bit int */
+  SILC_PARAM_UI32_INT,            /* Unsigned 32-bit int */
+  SILC_PARAM_SI64_INT,            /* Signed 64-bit int */
+  SILC_PARAM_UI64_INT,            /* Unsigned 64-bit int */
+  SILC_PARAM_UI8_STRING,          /* String (max len 8-bits)*/
+  SILC_PARAM_UI16_STRING,         /* String (max len 16-bits) */
+  SILC_PARAM_UI32_STRING,         /* String (max len 32-bits) */
+  SILC_PARAM_BUFFER,              /* SilcBuffer */
+
+  /* Internal types */
+  SILC_PARAM_DATA,                /* Binary data */
+  SILC_PARAM_UI8_NSTRING,         /* String (max len 8-bits) */
+  SILC_PARAM_UI16_NSTRING,        /* String (max len 16-bits) */
+  SILC_PARAM_UI32_NSTRING,        /* String (max len 32-bits) */
+  SILC_PARAM_UI8_STRING_ALLOC,    /* Alloc + memcpy */
+  SILC_PARAM_UI16_STRING_ALLOC,           /* Alloc + memcpy */
+  SILC_PARAM_UI32_STRING_ALLOC,           /* Alloc + memcpy */
+  SILC_PARAM_UI8_NSTRING_ALLOC,           /* Alloc + memcpy */
+  SILC_PARAM_UI16_NSTRING_ALLOC,   /* Alloc + memcpy */
+  SILC_PARAM_UI32_NSTRING_ALLOC,   /* Alloc + memcpy */
+  SILC_PARAM_DATA_ALLOC,          /* Alloc + memcpy */
+  SILC_PARAM_BUFFER_ALLOC,        /* Alloc + memcpy */
+
+  SILC_PARAM_OFFSET,
+  SILC_PARAM_ADVANCE,
+  SILC_PARAM_FUNC,
+
+  SILC_PARAM_UI_XNSTRING,
+  SILC_PARAM_UI_XNSTRING_ALLOC,
+
+  SILC_PARAM_END
 } SilcBufferParamType;
+/***/
 
 /****d* silcutil/SilcBufferFormatAPI/SILC_STR_*_CHAR
  *
@@ -272,8 +448,8 @@ typedef enum {
  *                   SILC_STR_UI_CHAR(unsigned char *)
  *
  ***/
-#define SILC_STR_SI_CHAR(x) SILC_BUFFER_PARAM_SI8_CHAR, (x)
-#define SILC_STR_UI_CHAR(x) SILC_BUFFER_PARAM_UI8_CHAR, (x)
+#define SILC_STR_SI_CHAR(x) SILC_PARAM_SI8_CHAR, (x)
+#define SILC_STR_UI_CHAR(x) SILC_PARAM_UI8_CHAR, (x)
 
 /****d* silcutil/SilcBufferFormatAPI/SILC_STR_*_SHORT
  *
@@ -284,16 +460,16 @@ typedef enum {
  *
  * DESCRIPTION
  *
- *    Signed/SilcUInt16.
+ *    SilcInt16/SilcUInt16.
  *
- *    Formatting:    SILC_STR_SI_SHORT(short)
+ *    Formatting:    SILC_STR_SI_SHORT(SilcInt16)
  *                   SILC_STR_UI_SHORT(SilcUInt16)
- *    Unformatting:  SILC_STR_SI_SHORT(short *)
+ *    Unformatting:  SILC_STR_SI_SHORT(SilcInt16 *)
  *                   SILC_STR_UI_SHORT(SilcUInt16 *)
  *
  ***/
-#define SILC_STR_SI_SHORT(x) SILC_BUFFER_PARAM_SI16_SHORT, (x)
-#define SILC_STR_UI_SHORT(x) SILC_BUFFER_PARAM_UI16_SHORT, (x)
+#define SILC_STR_SI_SHORT(x) SILC_PARAM_SI16_SHORT, (x)
+#define SILC_STR_UI_SHORT(x) SILC_PARAM_UI16_SHORT, (x)
 
 /****d* silcutil/SilcBufferFormatAPI/SILC_STR_*_INT
  *
@@ -304,16 +480,16 @@ typedef enum {
  *
  * DESCRIPTION
  *
- *    Signed/SilcUInt32.
+ *    SilcInt32/SilcUInt32.
  *
- *    Formatting:    SILC_STR_SI_INT(int)
+ *    Formatting:    SILC_STR_SI_INT(SilcInt32)
  *                   SILC_STR_UI_INT(SilcUInt32)
- *    Unformatting:  SILC_STR_SI_INT(int *)
+ *    Unformatting:  SILC_STR_SI_INT(SilcInt32 *)
  *                   SILC_STR_UI_INT(SilcUInt32 *)
  *
  ***/
-#define SILC_STR_SI_INT(x) SILC_BUFFER_PARAM_SI32_INT, (x)
-#define SILC_STR_UI_INT(x) SILC_BUFFER_PARAM_UI32_INT, (x)
+#define SILC_STR_SI_INT(x) SILC_PARAM_SI32_INT, (x)
+#define SILC_STR_UI_INT(x) SILC_PARAM_UI32_INT, (x)
 
 /****d* silcutil/SilcBufferFormatAPI/SILC_STR_*_INT64
  *
@@ -324,16 +500,16 @@ typedef enum {
  *
  * DESCRIPTION
  *
- *    Signed/SilcUInt64.
+ *    SilcInt64/SilcUInt64.
  *
- *     Formatting:    SILC_STR_SI_INT64(int)
- *                    SILC_STR_UI_INT64(SilcUInt32)
- *     Unformatting:  SILC_STR_SI_INT64(int *)
- *                    SILC_STR_UI_INT64(SilcUInt32 *)
+ *     Formatting:    SILC_STR_SI_INT64(SilcInt64)
+ *                    SILC_STR_UI_INT64(SilcUInt64)
+ *     Unformatting:  SILC_STR_SI_INT64(SilcInt64 *)
+ *                    SILC_STR_UI_INT64(SilcUInt64 *)
  *
  ***/
-#define SILC_STR_SI_INT64(x) SILC_BUFFER_PARAM_SI64_INT, (x)
-#define SILC_STR_UI_INT64(x) SILC_BUFFER_PARAM_UI64_INT, (x)
+#define SILC_STR_SI_INT64(x) SILC_PARAM_SI64_INT, (x)
+#define SILC_STR_UI_INT64(x) SILC_PARAM_UI64_INT, (x)
 
 /****d* silcutil/SilcBufferFormatAPI/SILC_STR_*_STRING
  *
@@ -378,12 +554,12 @@ typedef enum {
  *    as argument in unformatting.
  *
  ***/
-#define SILC_STR_UI8_STRING(x) SILC_BUFFER_PARAM_UI8_STRING, (x)
-#define SILC_STR_UI8_STRING_ALLOC(x) SILC_BUFFER_PARAM_UI8_STRING_ALLOC, (x)
-#define SILC_STR_UI16_STRING(x) SILC_BUFFER_PARAM_UI16_STRING, (x)
-#define SILC_STR_UI16_STRING_ALLOC(x) SILC_BUFFER_PARAM_UI16_STRING_ALLOC, (x)
-#define SILC_STR_UI32_STRING(x) SILC_BUFFER_PARAM_UI32_STRING, (x)
-#define SILC_STR_UI32_STRING_ALLOC(x) SILC_BUFFER_PARAM_UI32_STRING_ALLOC, (x)
+#define SILC_STR_UI8_STRING(x) SILC_PARAM_UI8_STRING, (x)
+#define SILC_STR_UI8_STRING_ALLOC(x) SILC_PARAM_UI8_STRING_ALLOC, (x)
+#define SILC_STR_UI16_STRING(x) SILC_PARAM_UI16_STRING, (x)
+#define SILC_STR_UI16_STRING_ALLOC(x) SILC_PARAM_UI16_STRING_ALLOC, (x)
+#define SILC_STR_UI32_STRING(x) SILC_PARAM_UI32_STRING, (x)
+#define SILC_STR_UI32_STRING_ALLOC(x) SILC_PARAM_UI32_STRING_ALLOC, (x)
 
 /****d* silcutil/SilcBufferFormatAPI/SILC_STR_*_NSTRING
  *
@@ -428,15 +604,15 @@ typedef enum {
  *    as argument in unformatting.
  *
  ***/
-#define SILC_STR_UI8_NSTRING(x, l) SILC_BUFFER_PARAM_UI8_NSTRING, (x), (l)
+#define SILC_STR_UI8_NSTRING(x, l) SILC_PARAM_UI8_NSTRING, (x), (l)
 #define SILC_STR_UI8_NSTRING_ALLOC(x, l) \
-  SILC_BUFFER_PARAM_UI8_NSTRING_ALLOC, (x), (l)
-#define SILC_STR_UI16_NSTRING(x, l) SILC_BUFFER_PARAM_UI16_NSTRING, (x), (l)
+  SILC_PARAM_UI8_NSTRING_ALLOC, (x), (l)
+#define SILC_STR_UI16_NSTRING(x, l) SILC_PARAM_UI16_NSTRING, (x), (l)
 #define SILC_STR_UI16_NSTRING_ALLOC(x, l) \
-  SILC_BUFFER_PARAM_UI16_NSTRING_ALLOC, (x), (l)
-#define SILC_STR_UI32_NSTRING(x, l) SILC_BUFFER_PARAM_UI32_NSTRING, (x), (l)
+  SILC_PARAM_UI16_NSTRING_ALLOC, (x), (l)
+#define SILC_STR_UI32_NSTRING(x, l) SILC_PARAM_UI32_NSTRING, (x), (l)
 #define SILC_STR_UI32_NSTRING_ALLOC(x, l) \
-  SILC_BUFFER_PARAM_UI32_NSTRING_ALLOC, (x), (l)
+  SILC_PARAM_UI32_NSTRING_ALLOC, (x), (l)
 
 /****d* silcutil/SilcBufferFormatAPI/SILC_STR_DATA
  *
@@ -447,7 +623,7 @@ typedef enum {
  *
  * DESCRIPTION
  *
- *    Binary data formatting.  Second argument is the lenght of the data.
+ *    Binary data formatting.  Second argument is the length of the data.
  *
  *    Formatting:    SILC_STR_DATA(unsigned char *, SilcUInt32)
  *    Unformatting:  SILC_STR_DATA(unsigned char **, SilcUInt32)
@@ -459,14 +635,91 @@ typedef enum {
  *    as argument in unformatting.
  *
  ***/
-#define SILC_STR_DATA(x, l) SILC_BUFFER_PARAM_DATA, (x), (l)
-#define SILC_STR_DATA_ALLOC(x, l) \
-  SILC_BUFFER_PARAM_DATA_ALLOC, (x), (l)
+#define SILC_STR_DATA(x, l) SILC_PARAM_DATA, (x), (l)
+#define SILC_STR_DATA_ALLOC(x, l) SILC_PARAM_DATA_ALLOC, (x), (l)
 
 /* Deprecated */
-#define SILC_STR_UI_XNSTRING(x, l) SILC_BUFFER_PARAM_UI_XNSTRING, (x), (l)
-#define SILC_STR_UI_XNSTRING_ALLOC(x, l) \
-  SILC_BUFFER_PARAM_UI_XNSTRING_ALLOC, (x), (l)
+#define SILC_STR_UI_XNSTRING(x, l) SILC_PARAM_UI_XNSTRING, (x), (l)
+#define SILC_STR_UI_XNSTRING_ALLOC(x, l) SILC_PARAM_UI_XNSTRING_ALLOC, (x), (l)
+
+/****d* silcutil/SilcBufferFormatAPI/SILC_STR_BUFFER
+ *
+ * NAME
+ *
+ *    #define SILC_STR_BUFFER() ...
+ *    #define SILC_STR_BUFFER_ALLOC() ...
+ *
+ * DESCRIPTION
+ *
+ *    SilcBuffer formatting.
+ *
+ *    Formatting:    SILC_STR_BUFFER(SilcBuffer)
+ *    Unformatting:  SILC_STR_BUFFER(SilcBuffer)
+ *
+ *    This type can be used to format and unformat SilcBuffer.  Note that, the
+ *    length of the buffer will be automatically encoded into the buffer as
+ *    a 32-bit integer.  In unformatting the SilcBuffer context must be
+ *    pre-allocated.
+ *
+ *    _ALLOC routines automatically allocates memory inside SilcBuffer in
+ *    unformatting.
+ *
+ ***/
+#define SILC_STR_BUFFER(x) SILC_PARAM_BUFFER, (x)
+#define SILC_STR_BUFFER_ALLOC(x) SILC_PARAM_BUFFER_ALLOC, (x)
+
+/****d* silcutil/SilcBufferFormatAPI/SILC_STR_FUNC
+ *
+ * NAME
+ *
+ *    #define SILC_STR_FUNC() ...
+ *
+ * DESCRIPTION
+ *
+ *    SilcBuffer formatting.
+ *
+ *    Formatting:    SILC_STR_FUNC(function, void *value, void *context)
+ *    Unformatting:  SILC_STR_FUNC(function, void **value, void *context)
+ *
+ *    This type can be used to call the `function' of the type
+ *    SilcBufferFormatFunc or SilcBufferUnformatFunc to encode or decode
+ *    the `value'.  In encoding the `value' will be passed to the `function'
+ *    and can be encoded into the buffer.  The buffer will be passed as
+ *    well to the `function' at the location where SILC_STR_FUNC is placed
+ *    in formatting.  The `context' delivers caller specific context to
+ *    the `function'
+ *
+ *    In unformatting the `function' will decode the encoded type and
+ *    return it to `value' pointer.  The decoding function should decide
+ *    itself whether to allocate or not the decoded value.
+ *
+ *    The `function' does not have to encode anything and passing `value'
+ *    as NULL is allowed.  The `function' could for example modify the
+ *    existing buffer.
+ *
+ * EXAMPLE
+ *
+ *    // Encode payload, encrypt and compute MAC.
+ *    silc_buffer_format(buf,
+ *                       SILC_STR_FUNC(foo_encode_id, id, ctx),
+ *                       SILC_STR_UI_SHORT(len),
+ *                       SILC_STR_DATA(data, len),
+ *                       SILC_STR_FUNC(foo_buf_encrypt, NULL, key),
+ *                       SILC_STR_FUNC(foo_buf_hmac, NULL, hmac),
+ *                       SILC_STR_DATA(iv, iv_len);
+ *                       SILC_STR_END);
+ *
+ *    // Check MAC, decrypt and decode payload
+ *    silc_buffer_unformat(buf,
+ *                         SILC_STR_FUNC(foo_buf_hmac, NULL, hmac),
+ *                         SILC_STR_FUNC(foo_buf_decrypt, NULL, key),
+ *                         SILC_STR_FUNC(foo_decode_id, &id, ctx),
+ *                         SILC_STR_UI_SHORT(&len),
+ *                         SILC_STR_END);
+ *
+ ***/
+#define SILC_STR_FUNC(func, val, context) SILC_PARAM_FUNC, \
+    func, (val), (context)
 
 /****d* silcutil/SilcBufferFormatAPI/SILC_STR_OFFSET
  *
@@ -491,7 +744,7 @@ typedef enum {
  *    can be used in formatting and unformatting at the same time.
  *
  ***/
-#define SILC_STR_OFFSET(x) SILC_BUFFER_PARAM_OFFSET, (x)
+#define SILC_STR_OFFSET(x) SILC_PARAM_OFFSET, (x)
 
 /****d* silcutil/SilcBufferFormatAPI/SILC_STR_ADVANCE
  *
@@ -506,6 +759,7 @@ typedef enum {
  *    buffer is located at the start of the data.  With SILC_STR_ADVANCE
  *    the buffer will be located at the end of the data.  This makes it
  *    easy to add new data immediately after the previously added data.
+ *    The SILC_STR_ADVANCE may also be used in unformatting.
  *
  * EXAMPLE
  *
@@ -515,15 +769,15 @@ typedef enum {
  *        // Add read data to the buffer
  *        silc_buffer_format(buffer,
  *                           SILC_STR_ADVANCE,
- *                           SILC_STR_UI_XNSTRING(buf, len),
+ *                           SILC_STR_DATA(buf, len),
  *                           SILC_STR_END);
  *    } while (len > 0);
  *
  *    // Move to beginning of buffer
- *    silc_buffer_push(buffer, silc_buffer_truelen(buffer));
+ *    silc_buffer_start(buffer);
  *
  ***/
-#define SILC_STR_ADVANCE SILC_BUFFER_PARAM_ADVANCE
+#define SILC_STR_ADVANCE SILC_PARAM_ADVANCE
 
 /****d* silcutil/SilcBufferFormatAPI/SILC_STR_END
  *
@@ -537,7 +791,7 @@ typedef enum {
  *    argument list or error will occur.
  *
  ***/
-#define SILC_STR_END SILC_BUFFER_PARAM_END
+#define SILC_STR_END SILC_PARAM_END
 
 /****d* silcutil/SilcBufferFormatAPI/SILC_STRFMT_END
  *