Merge commit 'origin/silc.1.1.branch'
[silc.git] / TODO
diff --git a/TODO b/TODO
index 22cd60b3f0725088099f86761ffd4b8618db7d81..e6950f06db8f133972622b978e342ba7981d623d 100644 (file)
--- a/TODO
+++ b/TODO
-TODO for 1.1 And Beyond
+TODO for 1.2 And Beyond
 =======================
 
 NOTE: Any item that doesn't have (***DONE) in it, isn't done yet.  The
 (***TESTING NEEDED) means that the item has been done but not yet properly
 tested.
 
+NOTE: A TODO entry does not mean that it is ever going to be done.  Some
+of the entries may be just ideas, good, bad or ugly.  If you want to work
+on some of the TODO entries simply let us know about it by dropping a note
+to silc-devel mailing list or appear on 'silc' channel on SILCNet.
 
-SILC Client    ****PARTLY DONE****
-===========
 
- o Porting to new Toolkit API and new Client Library API
-
- o Improve help files, especially /cmode, /cumode and /key.
-
-
-lib/silcclient, The Client Library     ***PARTLY DONE****
-==================================
-
- o silcclient.h clean up and API rewrites.
-
- o silcclient_entry.h finishing, all entry relates APIs to this header.
-
- o SilcChannelEntry, SilcServerEntry, SilcChannelUser, allocating, 
-   freeing, finding, etc. rewrite.  Also making them reference counted for 
-   multi threads use. (***DONE)
-
- o Finish all the missing SILC packet processings, rewrites.
-
- o The client_notify.c rewrite. (***TESTING NEEDED)
-
- o Resuming to client_register.c (remove client_resume.c)
-   (***TESTING NEEDED)
+lib/silccore
+============
 
- o Rekey rewrite. (***DONE)
+ o SILC_PACKET_FLAG_ACK support.  Implement ACK packet and packet payload
+   to silcpacket.c.
 
- o Remove protocol.[ch]. (***DONE)
+ o All payload encoding routines should take SilcStack as argument.
 
- o File transfer rewrite.
+ o Remove SilcCommandCb from silccommand.h. (***DONE)
 
- o Starting key exchange directly, rewrite. (***DONE)
+ o All payload test routines into lib/silccore/tests/.
 
- o Channel messages, channel private keys, channel entires, channel 
-   search, etc. rewrite.
 
- o For many APIs leave the hash context allocations to the caller instead
-   of using client->sha1hash and client->md5hash, or some kind of thread
-   safe (no locking) concept.
+lib/silcclient, The Client Library
+==================================
 
- o Password auth test, public key auth test.
+ o LIST command should take server name as argument, a server name whose
+   channels to list.  This way it is possible to list channels from
+   any server in internet, eg.  /LIST example.com.
 
- o Key agreement rewrite. (***TESTING NEEDED)
+ o UDP SILC connection support to SILC server
 
- o Connecting to remote client (***DONE)
+ o Giving WHOIS for nick that doesn't exist should remove any same
+   named entries from the client cache.
 
  o peer-to-peer private messages
 
- o Private message waiting API (in threads)
+ o Private message key request notification to application.  See XXX in
+   client_prvmsg.c.
 
- o client_attrs.c, attributes rewrite. (***TESTING NEEDED)
+ o in JOIN notify handle resolving that timedout.  Currently the user is
+   never joined the channel if this happens.  What to do if message is
+   received from user that hasn't been resolved/joined?
 
- o No SilcBuffer lists back to application in command_reply operations.
-   Convert them all to real lists and/or structures for easier use.
-   (***DONE)
+ o Connection option that attemps to connect to remot host with various
+   different mechanisms: UDP 706, TCP 706, TCP 80, TCP 443, UDP 7706 and
+   TCP 7706.  This is the so called hole punching mechanism.
 
- o Nickname formatting rewrite. (***TESTING NEEDED)
-
- o UDP connections. (***TESTING NEEDED)
+ o Message ACKing support.
 
  o in /cmode and /cumode with +r, maybe the public key and private key
    could be just some "string", which would then match to "string.pub" and
    "string.prv".
 
- o All packet waiting timeout tests and error condition tests.
-
-
-lib/silcsftp
-============
-
- o Porting to use the new util library.
-
-
-lib/silccore/silcpacket.[ch]   ****DONE****
-============================
-
- o SilcPacketEngine. (***DONE)
-
- o New SILC Packet API. (***DONE)
-
-
-lib/silccore/silcpacket.[ch]   ****PARTLY DONE****
-============================
-
- o IV Included flag support, UDP transport support (***TESTING NEEDED)
-
-
-lib/silccore/silcid.[ch]       ****DONE****
-========================
-
- o Add silc_id_str2id to accept the destination buffer as argument
-   and thus not require any memory allocation.  Same will happen
-   with silc_id_payload_* functions. (***DONE)
-
- o silc_id_str2id, silc_id2str to non-allocating routines. (***DONE)
-
-
-lib/silccore
-============
-
- o All payload encoding routines should take SilcStack as argument.
-
- o All payload test routines into lib/silccore/tests/.
-
-
-lib/silcskr
-===========
-
- o Removing key from the repository is not possible currently.  It should
-   be.
-
-
-lib/silcske/silcske.[ch] ****PARTLY DONE****
-========================
-
- o IV Included flag support in SKE (***DONE)
-
- o UDP transport changes; retransmission support by using exponential
-   backoff algorithm. (***DONE)
-
- o SilcConnAuth header file documentation.
-
-
-lib/silccrypt                  ****PARTLY DONE****
-=============
-
- o Implement the defined SilcDH API.  The definition is in
-   lib/silccrypt/silcdh.h.
-
- o SSH2 public keys support, allowing the use of SSH2 public keys in
-   SILC.
-
- o OpenPGP certificate support, allowing the use of PGP public keys
-   in SILC.
-
- o SILC PKCS (silcpkcs.h) reorganizing when other PK supports added.
-   Move the SILC Public Key routines away from the crypto library into
-   the core library (silccore).  silc_pkcs_public/private_key_* routines
-   to silc_public/private_key_* routines.  The silc_public_key_* routines
-   should also automatically handle SILC Public Keys, and other keys
-   and certificates as well.  Add fe. silcpk.h into silccore.  It should
-   also include the Public Key Payload encoding and decoding routines.
-   (***DONE)
-
- o Add DSS support.
-
- o Assembler AES (***DONE)
+ o If the SILC Events (see below) are implemented, perhaps client library
+   should provide events so that application developer has a choice of
+   developing the SILC app with callbacks or with events.
 
- o ECDSA and ECDH.
+ o Ability to recover from rekey errors, at least try to.
 
+ o Add the SilcStream (socket stream) from the SilcPacketStream and
+   SilcSocket from the socket stream to SilcClientConnection for easier
+   access to them for programmers.  Currently these have to be digged up
+   from the packet stream. (***DONE)
 
-lib/silcutil                   ****PARTLY DONE****
-============
-
- o The regex code from lib/contrib might compile fine on all platforms.
-   No need to make it silcutil/unix/ specific.  Add them to generic
-   silcutil.c.
-
- o silc_stringprep to non-allocating version.
-
- o Compression routines are missing.  The protocol supports packet
-   compression thus it must be implemented.  SILC Zip API must be
-   defined.
-
- o Add builtin SOCKS and HTTP Proxy support, well the SOCKS at least.
-   SILC currently supports SOCKS4 and SOCKS5 but it needs to be compiled
-   in separately.
-
- o bool -> SilcBool (***DONE)
-
- o Silc FD Stream to WIN32 (lib/silcutil/silcfdstream.h)
-
-lib/silcutil/silcbuffer.h      ****DONE****
-=========================
-
- o Remove the `truelen' field from SilcBuffer as it is entirely
-   redundant since we can get the true length of the buffer by
-   doing buffer->end - buffer->header.  Add silc_buffer_truelen
-   macro instead.  Consider also removing `len' field too since
-   it effectively is buffer->tail - buffer->data, and adding
-   silc_buffer_len macro can do the same.  These would save
-   totally 8 bytes of memory per buffer. (***DONE)
-
-
-lib/silcutil/silcbuffmt.[ch]   ****DONE****
-============================
-
- o SilcStack aware silc_buffer_unformat (***DONE)
-
- o SilcStack aware silc_buffer_format (***DONE)
-
- o silc_buffer_format reallocates automatically (***DONE)
-
- o SILC_STR_OFFSET (***DONE)
 
-
-lib/silcutil/silcstack.[ch]    ****DONE****
+SFTP Library, lib/silcsftp/
 ===========================
 
- o Data stack implementation (***DONE)
-
-
-lib/silcutil/silcstream.[ch]   ****DONE****
-============================
-
- o Add abstract SilcStream. (***DONE)
-
-
-lib/silcutil/silcsocketstream.[ch]     ****PARTY DONE****
-==================================
-
- o Add SilcSocketStream (***DONE)
-
- o Add SilcSocketStream for WIN32
-
- o Handle EOS sending to upper layer properly
-
- o Test QoS after the changes made to socket stream
-
-
-lib/silcutil/silcschedule*.[ch]                ****PARTLY DONE****
-===============================
-
- o Scheduler can be optimized for FD tasks by changing the fd_queue
-   to SilcHashTable instead of using linked list.  We need to do
-   one-to-one mapping of FD to task and hash table is more efficient
-   for this usage.
+ o Read prefetch (read-ahead, reading ahead of time).  Maybe if this can
+   be done easily.
 
-   Also redefine the silc_select to perhaps return a separate
-   structure of the events that actually occurred, instead of
-   returning the events in the fd_list which is then traversed
-   in the generic code to find the changed events.  This can be
-   made faster by having own struct which includes only the
-   changed events, thus the tarversing is faster since the whole
-   fd_list is not traversed anymore (it is still traversed in the
-   silc_select but at least it removes one extra tarversing later
-   for the same list).
 
-   Other task queues should be changed to use SilcList.  (***DONE)
-
- o Add SILC scheduler's internal routines into a table of implementation
-   function pointers, that the generic code then takes as extern from
-   implementation.  These are the silc_schedule_internal_* routines.
-   (***DONE)
-
- o Change SILC_TASK_CALLBACK to non-static, and remove the macro
-   SILC_TASK_CALLBACK_GLOBAL. (***DONE)
-
- o SILC Schedule API changes to WIN32.
-
-
-lib/silcutil/silcasync.[ch]    ****DONE****
-===========================
-
- o Add SilcAsyncOperation to utility library.  Any function that takes
-   callback as an argument must/should return SilcAsyncOperation.
-   (***DONE)
-
-
-lib/silcutil/silctime.[ch]     ****DONE****
-===========================
-
- o SilcTime. (***DONE)
-
- o system time, universal, generalized. (***DONE)
-
-
-lib/silcutil/silcfsm.[ch]      ****DONE****
-=========================
-
- o SILC Finite State Machine API.  Replaces SILC Protocol API (***DONE)
+lib/silcske/silcske.[ch]
+========================
 
+ o Ratelimit to UDP/IP transport for incoming packets.
 
-lib/silcutil/silcnet*, lib/silcutil/*/silc*net*                ****PARTLY DONE****
-===============================================
 
- o Add UDP interface (***DONE)
+apps/silcd
+==========
 
- o Add UDP interface for WIN32
+ o Deprecate the old server.  Write interface for the new lib/silcserver
+   server library.  The interface should work on Unix/Linux systems.
 
- o New network interfaces (***DONE)
+ o Consider deprecating also the old config file format and use XML
+   istead.  This should require SILC XML API implementation first.
 
+ o The configuration must support dynamic router and server connections.
+   The silcd must work without specifying any servers or routers to
+   connect to.
 
-lib/silcmath
-============
+ o The configuration must support specifying whether the server is
+   SILC Server or SILC Router.  This should not be deduced from the
+   configuration as it was in < 1.2.
 
- o Import TFM.  Talk to Tom to add the missing functions.  Use TFM in
-   client and client library, but TMA in server, due to the significantly
-   increased memory consumption with TFM, and the rare need for public
-   key operations in server.
+ o The configuration must support specifying the ciphers and hmacs and
+   their order so that user can specify which algorithms take preference.
 
- o Change LTM and TFM function names when importing to SILC tree to avoid
-   rare linking problems on system that has same named symbols already in
-   the system.
 
- o The SILC MP API function must start returning indication of success
-   and failure of the operation.
+lib/silcserver
+==============
 
- o Do SilcStack support for silc_mp_init, silc_mp_init_size and other
-   any other MP function (including utility ones) that may allocate
-   memory.
+ o Rewrite the entire server.  Deprecate apps/silcd as the main server
+   implementation and create lib/silcserver/.  It is a platform
+   independent server library.  The apps/silcd will merely provide a
+   a simple interface for the library.
 
- o Test on x86_64.
+ o Write the SILC Server library extensively using SILC FSM.
 
- o All utility functions should be made non-allocating ones.
+ o Server library must support multiple networks.  This means that one
+   server must be able to create multiple connections that each reach
+   different SILC network.  This means also that all cache's etc. must
+   be either connection-specific or network-specific.
 
+ o Library must support dynamic router and server connections.  This means
+   that connections are create only when they are needed, like when someone
+   says JOIN foo@foo.bar.com or WHOIS foobar@silcnet.org.
 
-lib/silcutil/symbian/          ****PARTLY DONE****
-=====================
+ o Library must support server-to-server connections even though protocol
+   prohibits that.  The responder of the connection should automatically
+   act as a router.  The two servers create an own, isolated, SILC network.
+   To be used specifically with dynamic connections.
 
-  o lib/silcutil/symbian routines missing or not completed.
-    (****TESTING NEEDED)
+ o Library must support multiple threads and must be entirely thread safe.
 
-  o Something needs to be thought to the logging globals as well,
-    like silc_debug etc.  They won't work on EPOC.  Perhaps logging
-    and debugging is to be disabled on EPOC.
+ o Library must have support for SERVICE command.
 
+ o Both UDP and TCP support for incoming connecetions.  Maintaining long
+   term UDP sessions.
 
-lib/silcasn1                   ****PARTLY DONE****
-============
+ o The server must be able to run behind NAT device.  This means that
+   Server ID must be based on public IP instead of private IP (See
+   also NAT detection protocol in SILC protocol specification).
 
- o ASN.1 library (***DONE)
+ o The following data must be in per-connection context: client id cache,
+   server id cache, channel id cache, all statistics must be
+   per-connection.
 
- o Header documentation missing. (***DONE)
+ o The following data must be in per-thread context: command context
+   freelist/pool, pending commands, random number generator.
 
- o Some string encodings missing (copy/paste matter). (***DONE)
+ o Do inccoming packet processing in an own FSM thread in the
+   server-threads FSM.  Same as in client library.
 
- o Negative integer encoding
+ o Binding to other ports than 706 too.  To allow easier traversing
+   through NATs and firewalls server should also bind to 80, 443 and 7706
+   by default (at least try to bind).  Connections must work normally
+   even if they were established to some other port other than 706.
 
+   Connection option that attemps to connect to remot server with various
+   different mechanisms: UDP 706, TCP 706, TCP 80, TCP 443, UDP 7706 and
+   TCP 7706.  This is the so called hole punching mechanism.
 
-lib/silcpkix
-============
+ o Ability to recover from rekey errors, at least try to.
 
- o PKIX implementation
+ o Reference count all Silc*Entry structures.
 
+ o All channel names in any command (where appropriate) must be allowed to
+   be in format channel@server so that the server can be connected to do
+   the command for the channel.  Change protocol if it doesn't allow it.
 
-lib/silcserver
-==============
+ o All nicknames in any command (where appropriate) must be allowed to be
+   in format nick@server so that the server can be connected to do the
+   command for the nickname.  Change protocol if it doesn't allow it.
 
- o (Re)write commands/command replys.
+ Some issues that must be kept in mind from 1.0 and 1.1 silcd's:
 
- o (Re)write notify handling.
+ o The server and router software MUST work out of the box.  After
+   installation the server must not require any configuration to run the
+   most basic working configuration.  No defining IP addresses, etc.
+   The server must work just by running it.
 
  o The SERVER_SIGNOFF notify handing is not optimal, because it'll
    cause sending of multiple SIGNOFF notify's instead of the one
@@ -365,20 +189,6 @@ lib/silcserver
    done per channel.  It shouldn't receive the whole list just
    because one client happened to be on same channel.
 
- o MAYBE: The SilcChannelClientEntry can be:
-       SilcUInt32 address;
-       SilcUInt32 mode;
-
-  where address is SilcClientEntry address XOR SilcChannelEntry.
-  You can get SilcClientEntry by doing client = chl->address XOR channel,
-  and SilcChannelEntry by doing channel = chl->address XOR client.
-  As long as the other pointer is always available when accessing the
-  structure this can be done.
-
- o Add reference counters to all Silc*Entry structures
-
- o SERVICEs support (plugin, SIM)
-
  o If client's public key is saved in the server (and doing public key
    authentication) then the hostname and the username information could
    be taken from the public key.  Should be a configuration option!
@@ -388,12 +198,10 @@ lib/silcserver
    seconds.  Now it is possible to accept n incoming JOIN commands
    and process them without any timeouts.  THis must be employed because
    each JOIN command will create and distribute the new channel key
-   to everybody on the channel (Fix this to 0.9.x).
+   to everybody on the channel.
 
  o Related to above.  If multiple JOINs are received in sequence perhaps
    new key should be created only once, if the JOINs are handeled at the same
    time.  Now we create multiple keys and never end up using them because
    many JOINs are processed at the same time in sequence.  Only the last
    key ends up being used.
-
- o The CMODE cipher & hmac change problem (#101).