Merge commit 'origin/silc.1.1.branch'
[silc.git] / TODO
diff --git a/TODO b/TODO
index 359b707bccaa54c8c6597e859e00a533653cdf76..e6950f06db8f133972622b978e342ba7981d623d 100644 (file)
--- a/TODO
+++ b/TODO
-TODO for 1.1 And Beyond
+TODO for 1.2 And Beyond
 =======================
 
 NOTE: Any item that doesn't have (***DONE) in it, isn't done yet.  The
 (***TESTING NEEDED) means that the item has been done but not yet properly
 tested.
 
-
-
-lib/silccore/silcpacket.[ch]   ****DONE****
-============================
-
- o SilcPacketEngine. (***DONE)
-
- o New SILC Packet API. (***DONE)
-
-
-lib/silccore/silcpacket.[ch]   ****PARTLY DONE****
-============================
-
- o IV Included flag support, UDP transport support (***TESTING NEEDED)
-
-
-lib/silccore/silcid.[ch]       ****DONE****
-========================
-
- o Add silc_id_str2id to accept the destination buffer as argument
-   and thus not require any memory allocation.  Same will happen
-   with silc_id_payload_* functions. (***DONE)
-
- o silc_id_str2id, silc_id2str to non-allocating routines. (***DONE)
+NOTE: A TODO entry does not mean that it is ever going to be done.  Some
+of the entries may be just ideas, good, bad or ugly.  If you want to work
+on some of the TODO entries simply let us know about it by dropping a note
+to silc-devel mailing list or appear on 'silc' channel on SILCNet.
 
 
 lib/silccore
 ============
 
- o All payload encoding routines should take SilcStack as argument.
-
- o All payload test routines into lib/silccore/tests/.
-
-
-lib/silcskr
-===========
-
- o Removing key from the repository is not possible currently.  It should
-   be.
-
-
-lib/silcske/silcske.[ch]
-========================
-
- o IV Included flag support in SKE (***TESTING NEEDED)
-
- o UDP transport changes; retransmission support by using exponential
-   backoff algorithm.
-
- o SilcConnAuth header file documentation.
-
-
-lib/silccrypt                  ****PARTLY DONE****
-=============
-
- o Implement the defined SilcDH API.  The definition is in
-   lib/silccrypt/silcdh.h.
-
- o SSH2 public keys support, allowing the use of SSH2 public keys in
-   SILC.
-
- o OpenPGP certificate support, allowing the use of PGP public keys
-   in SILC.
-
- o SILC PKCS (silcpkcs.h) reorganizing when other PK supports added.
-   Move the SILC Public Key routines away from the crypto library into
-   the core library (silccore).  silc_pkcs_public/private_key_* routines
-   to silc_public/private_key_* routines.  The silc_public_key_* routines
-   should also automatically handle SILC Public Keys, and other keys
-   and certificates as well.  Add fe. silcpk.h into silccore.  It should
-   also include the Public Key Payload encoding and decoding routines.
-   (***DONE)
-
- o Add DSS support.
-
- o Cipher optimizations (asm, that this) at least for i386 would be nice.
-
- o ECDSA and ECDH.
-
-
-lib/silcutil                   ****PARTLY DONE****
-============
-
- o silc_stringprep to non-allocating version.
-
- o Compression routines are missing.  The protocol supports packet
-   compression thus it must be implemented.  SILC Zip API must be
-   defined.
-
- o Add builtin SOCKS and HTTP Proxy support, well the SOCKS at least.
-   SILC currently supports SOCKS4 and SOCKS5 but it needs to be compiled
-   in separately.
-
- o bool -> SilcBool (***DONE)
-
- o Silc FD Stream to WIN32 (lib/silcutil/silcfdstream.h)
-
-
-lib/silcutil/silcbuffer.h      ****DONE****
-=========================
-
- o Remove the `truelen' field from SilcBuffer as it is entirely
-   redundant since we can get the true length of the buffer by
-   doing buffer->end - buffer->header.  Add silc_buffer_truelen
-   macro instead.  Consider also removing `len' field too since
-   it effectively is buffer->tail - buffer->data, and adding
-   silc_buffer_len macro can do the same.  These would save
-   totally 8 bytes of memory per buffer. (***DONE)
-
-
-lib/silcutil/silcbuffmt.[ch]   ****PARTLY DONE****
-============================
-
- o SilcStack aware silc_buffer_unformat (***DONE)
-
- o SilcStack aware silc_buffer_format (***DONE)
-
- o silc_buffer_format reallocates automatically (***DONE)
-
- o SILC_STR_OFFSET (***DONE)
-
-
-lib/silcutil/silcstack.[ch]    ****DONE****
-===========================
-
- o Data stack implementation (***DONE)
+ o SILC_PACKET_FLAG_ACK support.  Implement ACK packet and packet payload
+   to silcpacket.c.
 
+ o All payload encoding routines should take SilcStack as argument.
 
-lib/silcutil/silcstream.[ch]   ****DONE****
-============================
+ o Remove SilcCommandCb from silccommand.h. (***DONE)
 
- o Add abstract SilcStream. (***DONE)
+ o All payload test routines into lib/silccore/tests/.
 
 
-lib/silcutil/silcsocketstream.[ch]     ****PARTY DONE****
+lib/silcclient, The Client Library
 ==================================
 
- o Add SilcSocketStream (***DONE)
-
- o Add SilcSocketStream for WIN32
+ o LIST command should take server name as argument, a server name whose
+   channels to list.  This way it is possible to list channels from
+   any server in internet, eg.  /LIST example.com.
 
- o Handle EOS sending to upper layer properly
+ o UDP SILC connection support to SILC server
 
- o Test QoS after the changes made to socket stream
+ o Giving WHOIS for nick that doesn't exist should remove any same
+   named entries from the client cache.
 
+ o peer-to-peer private messages
 
-lib/silcutil/silcschedule*.[ch]                ****DONE****
-===============================
+ o Private message key request notification to application.  See XXX in
+   client_prvmsg.c.
 
- o Scheduler can be optimized for FD tasks by changing the fd_queue
-   to SilcHashTable instead of using linked list.  We need to do
-   one-to-one mapping of FD to task and hash table is more efficient
-   for this usage.
+ o in JOIN notify handle resolving that timedout.  Currently the user is
+   never joined the channel if this happens.  What to do if message is
+   received from user that hasn't been resolved/joined?
 
-   Also redefine the silc_select to perhaps return a separate
-   structure of the events that actually occurred, instead of
-   returning the events in the fd_list which is then traversed
-   in the generic code to find the changed events.  This can be
-   made faster by having own struct which includes only the
-   changed events, thus the tarversing is faster since the whole
-   fd_list is not traversed anymore (it is still traversed in the
-   silc_select but at least it removes one extra tarversing later
-   for the same list).
+ o Connection option that attemps to connect to remot host with various
+   different mechanisms: UDP 706, TCP 706, TCP 80, TCP 443, UDP 7706 and
+   TCP 7706.  This is the so called hole punching mechanism.
 
-   Other task queues should be changed to use SilcList.  (***DONE)
+ o Message ACKing support.
 
- o Add SILC scheduler's internal routines into a table of implementation
-   function pointers, that the generic code then takes as extern from
-   implementation.  These are the silc_schedule_internal_* routines.
-   (***DONE)
+ o in /cmode and /cumode with +r, maybe the public key and private key
+   could be just some "string", which would then match to "string.pub" and
+   "string.prv".
 
- o Change SILC_TASK_CALLBACK to non-static, and remove the macro
-   SILC_TASK_CALLBACK_GLOBAL. (***DONE)
+ o If the SILC Events (see below) are implemented, perhaps client library
+   should provide events so that application developer has a choice of
+   developing the SILC app with callbacks or with events.
 
- o SILC Schedule API changes to WIN32.
-
-
-lib/silcutil/silcasync.[ch]    ****DONE****
-===========================
+ o Ability to recover from rekey errors, at least try to.
 
- o Add SilcAsyncOperation to utility library.  Any function that takes
-   callback as an argument must/should return SilcAsyncOperation.
-   (***DONE)
+ o Add the SilcStream (socket stream) from the SilcPacketStream and
+   SilcSocket from the socket stream to SilcClientConnection for easier
+   access to them for programmers.  Currently these have to be digged up
+   from the packet stream. (***DONE)
 
 
-lib/silcutil/silctime.[ch]     ****DONE****
+SFTP Library, lib/silcsftp/
 ===========================
 
- o SilcTime. (***DONE)
-
- o system time, universal, generalized. (***DONE)
-
-
-lib/silcutil/silcfsm.[ch]      ****DONE****
-=========================
-
- o SILC Finite State Machine API.  Replaces SILC Protocol API (***DONE)
-
+ o Read prefetch (read-ahead, reading ahead of time).  Maybe if this can
+   be done easily.
 
-lib/silcutil/silcnet*, lib/silcutil/*/silc*net*                ****PARTLY DONE****
-===============================================
 
- o Add UDP interface (***DONE)
+lib/silcske/silcske.[ch]
+========================
 
- o Add UDP interface for WIN32
+ o Ratelimit to UDP/IP transport for incoming packets.
 
- o New network interfaces (***DONE)
 
+apps/silcd
+==========
 
-lib/silcsftp
-============
+ o Deprecate the old server.  Write interface for the new lib/silcserver
+   server library.  The interface should work on Unix/Linux systems.
 
- o Porting to use the new util library.
+ o Consider deprecating also the old config file format and use XML
+   istead.  This should require SILC XML API implementation first.
 
+ o The configuration must support dynamic router and server connections.
+   The silcd must work without specifying any servers or routers to
+   connect to.
 
-lib/silcutil/epoc/*
-===================
+ o The configuration must support specifying whether the server is
+   SILC Server or SILC Router.  This should not be deduced from the
+   configuration as it was in < 1.2.
 
-  o lib/silcutil/epoc routines missing or not completed.
+ o The configuration must support specifying the ciphers and hmacs and
+   their order so that user can specify which algorithms take preference.
 
-  o The PKCS#1 also calls global RNG (even though it is not used
-    currently in SILC, the interface allows its use).
 
-  o Something needs to be thought to the logging globals as well,
-    like silc_debug etc.  They won't work on EPOC.  Perhaps logging
-    and debugging is to be disabled on EPOC.
+lib/silcserver
+==============
 
+ o Rewrite the entire server.  Deprecate apps/silcd as the main server
+   implementation and create lib/silcserver/.  It is a platform
+   independent server library.  The apps/silcd will merely provide a
+   a simple interface for the library.
 
-lib/silcmath
-============
+ o Write the SILC Server library extensively using SILC FSM.
 
- o Import TFM.  Talk to Tom to add the missing functions.  Use TFM in
-   client and client library, but TMA in server, due to the significantly
-   increased memory consumption with TFM, and the rare need for public
-   key operations in server.
+ o Server library must support multiple networks.  This means that one
+   server must be able to create multiple connections that each reach
+   different SILC network.  This means also that all cache's etc. must
+   be either connection-specific or network-specific.
 
- o Change LTM and TFM function names when importing to SILC tree to avoid
-   rare linking problems on system that has same named symbols already in
-   the system.
+ o Library must support dynamic router and server connections.  This means
+   that connections are create only when they are needed, like when someone
+   says JOIN foo@foo.bar.com or WHOIS foobar@silcnet.org.
 
- o The SILC MP API function must start returning indication of success
-   and failure of the operation.
+ o Library must support server-to-server connections even though protocol
+   prohibits that.  The responder of the connection should automatically
+   act as a router.  The two servers create an own, isolated, SILC network.
+   To be used specifically with dynamic connections.
 
- o Do SilcStack support for silc_mp_init, silc_mp_init_size and other
-   any other MP function (including utility ones) that may allocate
-   memory.
+ o Library must support multiple threads and must be entirely thread safe.
 
- o Test on x86_64.
+ o Library must have support for SERVICE command.
 
- o All utility functions should be made non-allocating ones.
+ o Both UDP and TCP support for incoming connecetions.  Maintaining long
+   term UDP sessions.
 
+ o The server must be able to run behind NAT device.  This means that
+   Server ID must be based on public IP instead of private IP (See
+   also NAT detection protocol in SILC protocol specification).
 
-lib/silcasn1                   ****PARTLY DONE****
-============
-
- o ASN.1 library (***DONE)
+ o The following data must be in per-connection context: client id cache,
+   server id cache, channel id cache, all statistics must be
+   per-connection.
 
- o Header documentation missing. (***DONE)
+ o The following data must be in per-thread context: command context
+   freelist/pool, pending commands, random number generator.
 
- o Some string encodings missing (copy/paste matter). (***DONE)
+ o Do inccoming packet processing in an own FSM thread in the
+   server-threads FSM.  Same as in client library.
 
- o Negative integer encoding
+ o Binding to other ports than 706 too.  To allow easier traversing
+   through NATs and firewalls server should also bind to 80, 443 and 7706
+   by default (at least try to bind).  Connections must work normally
+   even if they were established to some other port other than 706.
 
+   Connection option that attemps to connect to remot server with various
+   different mechanisms: UDP 706, TCP 706, TCP 80, TCP 443, UDP 7706 and
+   TCP 7706.  This is the so called hole punching mechanism.
 
-lib/silcpkix
-============
+ o Ability to recover from rekey errors, at least try to.
 
- o PKIX implementation
+ o Reference count all Silc*Entry structures.
 
+ o All channel names in any command (where appropriate) must be allowed to
+   be in format channel@server so that the server can be connected to do
+   the command for the channel.  Change protocol if it doesn't allow it.
 
-lib/silcserver
-==============
+ o All nicknames in any command (where appropriate) must be allowed to be
+   in format nick@server so that the server can be connected to do the
+   command for the nickname.  Change protocol if it doesn't allow it.
 
- o (Re)write commands/command replys.
+ Some issues that must be kept in mind from 1.0 and 1.1 silcd's:
 
- o (Re)write notify handling.
+ o The server and router software MUST work out of the box.  After
+   installation the server must not require any configuration to run the
+   most basic working configuration.  No defining IP addresses, etc.
+   The server must work just by running it.
 
  o The SERVER_SIGNOFF notify handing is not optimal, because it'll
    cause sending of multiple SIGNOFF notify's instead of the one
@@ -297,20 +189,6 @@ lib/silcserver
    done per channel.  It shouldn't receive the whole list just
    because one client happened to be on same channel.
 
- o MAYBE: The SilcChannelClientEntry can be:
-       SilcUInt32 address;
-       SilcUInt32 mode;
-
-  where address is SilcClientEntry address XOR SilcChannelEntry.
-  You can get SilcClientEntry by doing client = chl->address XOR channel,
-  and SilcChannelEntry by doing channel = chl->address XOR client.
-  As long as the other pointer is always available when accessing the
-  structure this can be done.
-
- o Add reference counters to all Silc*Entry structures
-
- o SERVICEs support (plugin, SIM)
-
  o If client's public key is saved in the server (and doing public key
    authentication) then the hostname and the username information could
    be taken from the public key.  Should be a configuration option!
@@ -320,23 +198,10 @@ lib/silcserver
    seconds.  Now it is possible to accept n incoming JOIN commands
    and process them without any timeouts.  THis must be employed because
    each JOIN command will create and distribute the new channel key
-   to everybody on the channel (Fix this to 0.9.x).
+   to everybody on the channel.
 
  o Related to above.  If multiple JOINs are received in sequence perhaps
    new key should be created only once, if the JOINs are handeled at the same
    time.  Now we create multiple keys and never end up using them because
    many JOINs are processed at the same time in sequence.  Only the last
    key ends up being used.
-
- o The CMODE cipher & hmac change problem (#101).
-
-
-lib/silcclient
-==============
-
- o Some form of rewrite to make it more efficient.
-
- o Clear up interfaces.
-
- o Remove silc_client_run and silc_client_run_one from calling SilcSchedule.
-   Leave the scheduling entirely to application.