Merge commit 'origin/silc.1.1.branch'
[silc.git] / TODO
diff --git a/TODO b/TODO
index d89901f838d4d88b4a9e2383c80f75b620de1642..e6950f06db8f133972622b978e342ba7981d623d 100644 (file)
--- a/TODO
+++ b/TODO
-TODO for 1.1
-============
+TODO for 1.2 And Beyond
+=======================
 
 NOTE: Any item that doesn't have (***DONE) in it, isn't done yet.  The
 (***TESTING NEEDED) means that the item has been done but not yet properly
 tested.
 
+NOTE: A TODO entry does not mean that it is ever going to be done.  Some
+of the entries may be just ideas, good, bad or ugly.  If you want to work
+on some of the TODO entries simply let us know about it by dropping a note
+to silc-devel mailing list or appear on 'silc' channel on SILCNet.
 
-apps/silcd, The SILC Server    ****PARTLY DONE****
-===========================
-
- o Fix/test GETKEY. (***DONE)
-
- o Fix/test MOTD. (***DONE)
-
- o Rewrite rehash, HUP.
-
- o Heartbeat-keepalive.
-
- o Port all code to use SILC Toolkit 1.1 APIs. (***DONE)
-
- o Remove protocol.[ch].  (***DONE)
-
- o Rewrite connecting accepting. (***DONE)
-
- o Rewrite async connecting. (***DONE)
-
- o Test backup router resuming protocol. (***DONE)
-
- o Check all packet receive routines that they call silc_packet_free. 
-   (***DONE)
-
- o Add Web statistics module using lib/silchttp.  Give out server
-   statistics. (***DONE)
-
-
-SILC Client    ****DONE****
-===========
-
- o Porting to new Toolkit API and new Client Library API (***DONE)
-
- o Improve help files, especially /cmode, /cumode and /key. (***DONE)
-
-
-lib/silcclient, The Client Library     ***DONE****
-==================================
-
- o silcclient.h clean up and API rewrites. (***DONE)
-
- o silcclient_entry.h finishing, all entry relates APIs to this header.
-   (***DONE)
-
- o SilcChannelEntry, SilcServerEntry, SilcChannelUser, allocating,
-   freeing, finding, etc. rewrite.  Also making them reference counted for
-   multi threads use. (***DONE)
-
- o Rewrite client side WHOIS command (for whois -details). (***DONE)
-
- o Finish all the missing SILC packet processings, rewrites. (***DONE)
-
- o The client_notify.c rewrite. (***DONE)
-
- o Resuming to client_register.c (remove client_resume.c) (***DONE)
-
- o Rekey rewrite. (***DONE)
-
- o Remove protocol.[ch]. (***DONE)
-
- o File transfer rewrite. (***DONE)
-
- o File transfer API documentation. (***DONE)
-
- o Connection auth request. (***DONE)
-
- o Password auth test, public key auth test. (***DONE)
-
- o Starting key exchange directly, rewrite. (***DONE)
-
- o Channel messages, channel private keys, channel entires, channel
-   search, etc. rewrite. (***DONE)
-
- o For many APIs leave the hash context allocations to the caller instead
-   of using client->sha1hash and client->md5hash, or some kind of thread
-   safe (no locking) concept. (***DONE)
-
- o Key agreement rewrite. (***DONE)
-
- o Connecting to remote client (***DONE)
-
- o Private message waiting API (in threads) (***TESTING NEEDED)
-
- o client_attrs.c, attributes rewrite. (***DONE)
-
- o No SilcBuffer lists back to application in command_reply operations.
-   Convert them all to real lists and/or structures for easier use.
-   (***DONE)
-
- o Nickname formatting rewrite. (***DONE)
 
- o UDP connections. (***TESTING NEEDED)
-
-
-lib/silcsftp                   ****DONE****
+lib/silccore
 ============
 
- o Porting to use the new util library. (***DONE)
-
-
-lib/silccore/silcpacket.[ch]   ****DONE****
-============================
-
- o SilcPacketEngine. (***DONE)
-
- o New SILC Packet API. (***DONE)
-
- o Implement silc_packet_engine_stop and silc_packet_stream_destroy. (***DONE)
-
- o IV Included flag support, UDP transport support (***TESTING NEEDED)
-
-
-lib/silccore/silcid.[ch]       ****DONE****
-========================
-
- o Add silc_id_str2id to accept the destination buffer as argument
-   and thus not require any memory allocation.  Same will happen
-   with silc_id_payload_* functions. (***DONE)
-
- o silc_id_str2id, silc_id2str to non-allocating routines. (***DONE)
-
-
-lib/silcskr    ****DONE****
-===========
-
- o Removing key from the repository is not possible currently.  It should
-   be. (***DONE)
-
-
-lib/silcske/silcske.[ch]       ***DONE****
-========================
-
- o Responder rekey (***DONE)
-
- o IV Included flag support in SKE (***DONE)
+ o SILC_PACKET_FLAG_ACK support.  Implement ACK packet and packet payload
+   to silcpacket.c.
 
- o UDP transport changes; retransmission support by using exponential
-   backoff algorithm. (***DONE)
+ o All payload encoding routines should take SilcStack as argument.
 
- o SilcConnAuth header file documentation. (***DONE)
+ o Remove SilcCommandCb from silccommand.h. (***DONE)
 
+ o All payload test routines into lib/silccore/tests/.
 
-lib/silccrypt                  ****DONE****
-=============
 
- o Implement PKCS #1 sign/verify with hash OID. (***TESTING NEEDED)
-
- o Implement SILC Public Key Version 2 handling in sign/verify.  Implement
-   Version (V) identifier (***DONE)
-
- o SILC PKCS (silcpkcs.h) reorganizing when other PK supports added.
-   Move the SILC Public Key routines away from the crypto library into
-   the core library (silccore).  silc_pkcs_public/private_key_* routines
-   to silc_public/private_key_* routines.  The silc_public_key_* routines
-   should also automatically handle SILC Public Keys, and other keys
-   and certificates as well.  Add fe. silcpk.h into silccore.  It should
-   also include the Public Key Payload encoding and decoding routines.
-   (***DONE)
-
- o Assembler AES (***DONE)
-
-
-lib/silcutil                   ****DONE****
-============
+lib/silcclient, The Client Library
+==================================
 
- o The regex code from lib/contrib might compile fine on all platforms.
-   No need to make it silcutil/unix/ specific.  Add them to generic
-   silcutil.c. (***DONE)
+ o LIST command should take server name as argument, a server name whose
+   channels to list.  This way it is possible to list channels from
+   any server in internet, eg.  /LIST example.com.
 
- o Silc FD Stream to WIN32 (lib/silcutil/silcfdstream.h) (***TESTING NEEDED)
+ o UDP SILC connection support to SILC server
 
- o bool -> SilcBool (***DONE)
+ o Giving WHOIS for nick that doesn't exist should remove any same
+   named entries from the client cache.
 
+ o peer-to-peer private messages
 
-lib/silcutil/silcbuffer.h      ****DONE****
-=========================
+ o Private message key request notification to application.  See XXX in
+   client_prvmsg.c.
 
- o Remove the `truelen' field from SilcBuffer as it is entirely
-   redundant since we can get the true length of the buffer by
-   doing buffer->end - buffer->header.  Add silc_buffer_truelen
-   macro instead.  Consider also removing `len' field too since
-   it effectively is buffer->tail - buffer->data, and adding
-   silc_buffer_len macro can do the same.  These would save
-   totally 8 bytes of memory per buffer. (***DONE)
+ o in JOIN notify handle resolving that timedout.  Currently the user is
+   never joined the channel if this happens.  What to do if message is
+   received from user that hasn't been resolved/joined?
 
+ o Connection option that attemps to connect to remot host with various
+   different mechanisms: UDP 706, TCP 706, TCP 80, TCP 443, UDP 7706 and
+   TCP 7706.  This is the so called hole punching mechanism.
 
-lib/silcutil/silcbuffmt.[ch]   ****DONE****
-============================
+ o Message ACKing support.
 
- o SilcStack aware silc_buffer_unformat (***DONE)
+ o in /cmode and /cumode with +r, maybe the public key and private key
+   could be just some "string", which would then match to "string.pub" and
+   "string.prv".
 
- o SilcStack aware silc_buffer_format (***DONE)
+ o If the SILC Events (see below) are implemented, perhaps client library
+   should provide events so that application developer has a choice of
+   developing the SILC app with callbacks or with events.
 
- o silc_buffer_format reallocates automatically (***DONE)
+ o Ability to recover from rekey errors, at least try to.
 
- o SILC_STR_OFFSET (***DONE)
+ o Add the SilcStream (socket stream) from the SilcPacketStream and
+   SilcSocket from the socket stream to SilcClientConnection for easier
+   access to them for programmers.  Currently these have to be digged up
+   from the packet stream. (***DONE)
 
 
-lib/silcutil/silcstack.[ch]    ****DONE****
+SFTP Library, lib/silcsftp/
 ===========================
 
- o Data stack implementation (***DONE)
-
-
-lib/silcutil/silcstream.[ch]   ****DONE****
-============================
-
- o Add abstract SilcStream. (***DONE)
+ o Read prefetch (read-ahead, reading ahead of time).  Maybe if this can
+   be done easily.
 
 
-lib/silcutil/silcsocketstream.[ch]     ****DONE****
-==================================
-
- o Add SilcSocketStream (***DONE)
-
- o Add SilcSocketStream for WIN32 (***TESTING NEEDED)
-
- o Test QoS after the changes made to socket stream
-
+lib/silcske/silcske.[ch]
+========================
 
-lib/silcutil/silcschedule*.[ch]                ****DONE****
-===============================
+ o Ratelimit to UDP/IP transport for incoming packets.
 
- o Scheduler can be optimized for FD tasks by changing the fd_queue
-   to SilcHashTable instead of using linked list.  We need to do
-   one-to-one mapping of FD to task and hash table is more efficient
-   for this usage.
 
-   Also redefine the silc_select to perhaps return a separate
-   structure of the events that actually occurred, instead of
-   returning the events in the fd_list which is then traversed
-   in the generic code to find the changed events.  This can be
-   made faster by having own struct which includes only the
-   changed events, thus the tarversing is faster since the whole
-   fd_list is not traversed anymore (it is still traversed in the
-   silc_select but at least it removes one extra tarversing later
-   for the same list).
+apps/silcd
+==========
 
-   Other task queues should be changed to use SilcList.  (***DONE)
+ o Deprecate the old server.  Write interface for the new lib/silcserver
+   server library.  The interface should work on Unix/Linux systems.
 
- o Add SILC scheduler's internal routines into a table of implementation
-   function pointers, that the generic code then takes as extern from
-   implementation.  These are the silc_schedule_internal_* routines.
-   (***DONE)
+ o Consider deprecating also the old config file format and use XML
+   istead.  This should require SILC XML API implementation first.
 
- o Change SILC_TASK_CALLBACK to non-static, and remove the macro
-   SILC_TASK_CALLBACK_GLOBAL. (***DONE)
+ o The configuration must support dynamic router and server connections.
+   The silcd must work without specifying any servers or routers to
+   connect to.
 
- o SILC Schedule API changes to WIN32. (***DONE)
+ o The configuration must support specifying whether the server is
+   SILC Server or SILC Router.  This should not be deduced from the
+   configuration as it was in < 1.2.
 
+ o The configuration must support specifying the ciphers and hmacs and
+   their order so that user can specify which algorithms take preference.
 
-lib/silcutil/silcasync.[ch]    ****DONE****
-===========================
 
- o Add SilcAsyncOperation to utility library.  Any function that takes
-   callback as an argument must/should return SilcAsyncOperation.
-   (***DONE)
+lib/silcserver
+==============
 
+ o Rewrite the entire server.  Deprecate apps/silcd as the main server
+   implementation and create lib/silcserver/.  It is a platform
+   independent server library.  The apps/silcd will merely provide a
+   a simple interface for the library.
 
-lib/silcutil/silctime.[ch]     ****DONE****
-===========================
+ o Write the SILC Server library extensively using SILC FSM.
 
- o SilcTime. (***DONE)
+ o Server library must support multiple networks.  This means that one
+   server must be able to create multiple connections that each reach
+   different SILC network.  This means also that all cache's etc. must
+   be either connection-specific or network-specific.
 
- o system time, universal, generalized. (***DONE)
+ o Library must support dynamic router and server connections.  This means
+   that connections are create only when they are needed, like when someone
+   says JOIN foo@foo.bar.com or WHOIS foobar@silcnet.org.
 
+ o Library must support server-to-server connections even though protocol
+   prohibits that.  The responder of the connection should automatically
+   act as a router.  The two servers create an own, isolated, SILC network.
+   To be used specifically with dynamic connections.
 
-lib/silcutil/silcfsm.[ch]      ****DONE****
-=========================
+ o Library must support multiple threads and must be entirely thread safe.
 
- o SILC Finite State Machine API.  Replaces SILC Protocol API (***DONE)
+ o Library must have support for SERVICE command.
 
+ o Both UDP and TCP support for incoming connecetions.  Maintaining long
+   term UDP sessions.
 
-lib/silcutil/silcnet*, lib/silcutil/*/silc*net*                ****DONE****
-===============================================
+ o The server must be able to run behind NAT device.  This means that
+   Server ID must be based on public IP instead of private IP (See
+   also NAT detection protocol in SILC protocol specification).
 
- o Add UDP interface (***DONE)
+ o The following data must be in per-connection context: client id cache,
+   server id cache, channel id cache, all statistics must be
+   per-connection.
 
- o Add UDP interface for WIN32 (***TESTING NEEDED)
+ o The following data must be in per-thread context: command context
+   freelist/pool, pending commands, random number generator.
 
- o New network interfaces (***DONE)
+ o Do inccoming packet processing in an own FSM thread in the
+   server-threads FSM.  Same as in client library.
 
+ o Binding to other ports than 706 too.  To allow easier traversing
+   through NATs and firewalls server should also bind to 80, 443 and 7706
+   by default (at least try to bind).  Connections must work normally
+   even if they were established to some other port other than 706.
 
-lib/silcmath                   ****DONE****
-============
+   Connection option that attemps to connect to remot server with various
+   different mechanisms: UDP 706, TCP 706, TCP 80, TCP 443, UDP 7706 and
+   TCP 7706.  This is the so called hole punching mechanism.
 
- o Test on x86_64. (***TESTING NEEDED)
+ o Ability to recover from rekey errors, at least try to.
 
- o Change LTM and TFM function names when importing to SILC tree to avoid
-   rare linking problems on system that has same named symbols already in
-   the system. (***DONE)
+ o Reference count all Silc*Entry structures.
 
+ o All channel names in any command (where appropriate) must be allowed to
+   be in format channel@server so that the server can be connected to do
+   the command for the channel.  Change protocol if it doesn't allow it.
 
-lib/silcutil/symbian/          ****DONE****
-=====================
+ o All nicknames in any command (where appropriate) must be allowed to be
+   in format nick@server so that the server can be connected to do the
+   command for the nickname.  Change protocol if it doesn't allow it.
 
-  o lib/silcutil/symbian routines missing or not completed.
-    (****TESTING NEEDED)
+ Some issues that must be kept in mind from 1.0 and 1.1 silcd's:
 
-  o Something needs to be thought to the logging globals as well,
-    like silc_debug etc.  They won't work on EPOC.  Perhaps logging
-    and debugging is to be disabled on EPOC.
+ o The server and router software MUST work out of the box.  After
+   installation the server must not require any configuration to run the
+   most basic working configuration.  No defining IP addresses, etc.
+   The server must work just by running it.
 
+ o The SERVER_SIGNOFF notify handing is not optimal, because it'll
+   cause sending of multiple SIGNOFF notify's instead of the one
+   SERVER_SIGNOFF notify that the server received.  This should be
+   optimized so that the only SERVER_SIGNOFF is sent and not
+   SIGNOFF of notify at all (using SIGNOFF takes the idea about
+   SERVER_SIGNOFF away entirely).
 
-lib/silcasn1                   ****DONE****
-============
+ o Another SERVER_SIGNOFF opt/bugfix:  Currently the signoff is
+   sent to a client if it is on same channel as the client that
+   signoffed.  However, the entire SERVER_SIGNOFF list is sent to
+   the client, ie. it may receive clients that was not on the
+   same channel.  This is actually against the specs.  It must be
+   done per channel.  It shouldn't receive the whole list just
+   because one client happened to be on same channel.
 
- o ASN.1 library (***DONE)
+ o If client's public key is saved in the server (and doing public key
+   authentication) then the hostname and the username information could
+   be taken from the public key.  Should be a configuration option!
 
- o Header documentation missing. (***DONE)
+ o Add a timeout to handling incoming JOIN commands.  It should be
+   enforced that JOIN command is executed only once in a second or two
+   seconds.  Now it is possible to accept n incoming JOIN commands
+   and process them without any timeouts.  THis must be employed because
+   each JOIN command will create and distribute the new channel key
+   to everybody on the channel.
 
- o Some string encodings missing (copy/paste matter). (***DONE)
+ o Related to above.  If multiple JOINs are received in sequence perhaps
+   new key should be created only once, if the JOINs are handeled at the same
+   time.  Now we create multiple keys and never end up using them because
+   many JOINs are processed at the same time in sequence.  Only the last
+   key ends up being used.