Merge commit 'origin/silc.1.1.branch'
[silc.git] / TODO
diff --git a/TODO b/TODO
index 42161a4cb8f802978907a9c782d1b37b87f53acb..e6950f06db8f133972622b978e342ba7981d623d 100644 (file)
--- a/TODO
+++ b/TODO
-TODO for 1.1 And Beyond
+TODO for 1.2 And Beyond
 =======================
 
-lib/silccrypt
-=============
+NOTE: Any item that doesn't have (***DONE) in it, isn't done yet.  The
+(***TESTING NEEDED) means that the item has been done but not yet properly
+tested.
 
- o Implement the defined SilcDH API.  The definition is in
-   lib/silccrypt/silcdh.h.
+NOTE: A TODO entry does not mean that it is ever going to be done.  Some
+of the entries may be just ideas, good, bad or ugly.  If you want to work
+on some of the TODO entries simply let us know about it by dropping a note
+to silc-devel mailing list or appear on 'silc' channel on SILCNet.
 
- o SSH2 public keys support, allowing the use of SSH2 public keys in
-   SILC.
 
- o OpenPGP certificate support, allowing the use of PGP public keys
-   in SILC.
-
- o SILC PKCS (silcpkcs.h) reorganizing when other PK supports added.
-   Move the SILC Public Key routines away from the crypto library into
-   the core library (silccore).  silc_pkcs_public/private_key_* routines
-   to silc_public/private_key_* routines.  The silc_public_key_* routines
-   should also automatically handle SILC Public Keys, and other keys
-   and certificates as well.  Add fe. silcpk.h into silccore.  It should
-   also include the Public Key Payload encoding and decoding routines.
-
- o Add DSS support.
-
- o Cipher optimizations (asm, that this) at least for i386 would be nice.
-
- o ECDSA and ECDH.
-
-
-lib/silccore/silcpacket.[ch]   ****PARTLY DONE****
-============================
-
- o SilcPacketEngine.
-
- o New SILC Packet API.
-
-
-lib/silccore/silcid.[ch]
-========================
-
-  o Add silc_id_str2id to accept the destination buffer as argument
-    and thus not require any memory allocation.  Same will happen
-    with silc_id_payload_* functions.
-
-  o silc_id_str2id, silc_id2str to non-allocating routines.
-
-
-lib/silcutil
+lib/silccore
 ============
 
- o Compression routines are missing.  The protocol supports packet
-   compression thus it must be implemented.  SILC Zip API must be
-   defined.
-
- o Add builtin SOCKS and HTTP Proxy support, well the SOCKS at least.
-   SILC currently supports SOCKS4 and SOCKS5 but it needs to be compiled
-   in separately.
-
- o bool -> SilcBool
-
- o SilcBit, bit field:
-
-   #define SilcBit(b) unsigned int b : 1
-
-
-lib/silcutil/silcbuffer.h      ****DONE****
-=========================
-
- o Remove the `truelen' field from SilcBuffer as it is entirely
-   redundant since we can get the true length of the buffer by
-   doing buffer->end - buffer->header.  Add silc_buffer_truelen
-   macro instead.  Consider also removing `len' field too since
-   it effectively is buffer->tail - buffer->data, and adding
-   silc_buffer_len macro can do the same.  These would save
-   totally 8 bytes of memory per buffer.
-
+ o SILC_PACKET_FLAG_ACK support.  Implement ACK packet and packet payload
+   to silcpacket.c.
 
-lib/silcutil/silcbuffmt.[ch]   ****PARTY DONE****
-============================
+ o All payload encoding routines should take SilcStack as argument.
 
- o SILC_STR_APPEND, _APPEND_TAIL.
+ o Remove SilcCommandCb from silccommand.h. (***DONE)
 
- o SILC_STR_OFFSET
+ o All payload test routines into lib/silccore/tests/.
 
 
-lib/silcutil/silcstack.[ch]    ****DONE****
-===========================
-
- o Data stack implementation
-
-
-lib/silcutil/silcstream.[ch]   ****DONE****
-============================
-
- o Add abstract SilcStream.
-
-
-lib/silcutil/silcsocketstream.[ch]     ****PARTY DONE****
+lib/silcclient, The Client Library
 ==================================
 
- o Add SilcSocketStream.
-
+ o LIST command should take server name as argument, a server name whose
+   channels to list.  This way it is possible to list channels from
+   any server in internet, eg.  /LIST example.com.
 
-lib/silcutil/epoc/*
-===================
+ o UDP SILC connection support to SILC server
 
-  o lib/silcutil/epoc routines missing or not completed.
+ o Giving WHOIS for nick that doesn't exist should remove any same
+   named entries from the client cache.
 
-  o The PKCS#1 also calls global RNG (even though it is not used
-    currently in SILC, the interface allows its use).
+ o peer-to-peer private messages
 
-  o Something needs to be thought to the logging globals as well,
-    like silc_debug etc.  They won't work on EPOC.  Perhaps logging
-    and debugging is to be disabled on EPOC.
+ o Private message key request notification to application.  See XXX in
+   client_prvmsg.c.
 
+ o in JOIN notify handle resolving that timedout.  Currently the user is
+   never joined the channel if this happens.  What to do if message is
+   received from user that hasn't been resolved/joined?
 
-lib/silcutil/silcschedule*.[ch]                ****DONE****
-===============================
+ o Connection option that attemps to connect to remot host with various
+   different mechanisms: UDP 706, TCP 706, TCP 80, TCP 443, UDP 7706 and
+   TCP 7706.  This is the so called hole punching mechanism.
 
- o Scheduler can be optimized for FD tasks by changing the fd_queue
-   to SilcHashTable instead of using linked list.  We need to do
-   one-to-one mapping of FD to task and hash table is more efficient
-   for this usage.
+ o Message ACKing support.
 
-   Also redefine the silc_select to perhaps return a separate
-   structure of the events that actually occurred, instead of
-   returning the events in the fd_list which is then traversed
-   in the generic code to find the changed events.  This can be
-   made faster by having own struct which includes only the
-   changed events, thus the tarversing is faster since the whole
-   fd_list is not traversed anymore (it is still traversed in the
-   silc_select but at least it removes one extra tarversing later
-   for the same list).
+ o in /cmode and /cumode with +r, maybe the public key and private key
+   could be just some "string", which would then match to "string.pub" and
+   "string.prv".
 
-   Other task queues should be changed to use SilcList.
+ o If the SILC Events (see below) are implemented, perhaps client library
+   should provide events so that application developer has a choice of
+   developing the SILC app with callbacks or with events.
 
- o Add SILC scheduler's internal routines into a table of implementation
-   function pointers, that the generic code then takes as extern from
-   implementation.  These are the silc_schedule_internal_* routines.
+ o Ability to recover from rekey errors, at least try to.
 
- o Change SILC_TASK_CALLBACK to non-static, and remove the macro
-   SILC_TASK_CALLBACK_GLOBAL.
+ o Add the SilcStream (socket stream) from the SilcPacketStream and
+   SilcSocket from the socket stream to SilcClientConnection for easier
+   access to them for programmers.  Currently these have to be digged up
+   from the packet stream. (***DONE)
 
 
-lib/silcutil/silcasync.[ch]    ****DONE****
+SFTP Library, lib/silcsftp/
 ===========================
 
- o Add SilcAsyncOperation to utility library.  Any function that takes
-   callback as an argument must/should return SilcAsyncOperation.
+ o Read prefetch (read-ahead, reading ahead of time).  Maybe if this can
+   be done easily.
 
 
-lib/silcutil/silctime.[ch]     ****DONE****
-===========================
+lib/silcske/silcske.[ch]
+========================
 
- o SilcTime.
+ o Ratelimit to UDP/IP transport for incoming packets.
 
- o system time, universal, generalized.
 
+apps/silcd
+==========
 
-lib/silcmath
-============
+ o Deprecate the old server.  Write interface for the new lib/silcserver
+   server library.  The interface should work on Unix/Linux systems.
 
- o The SILC MP API function must start returning indication of success
-   and failure of the operation.
+ o Consider deprecating also the old config file format and use XML
+   istead.  This should require SILC XML API implementation first.
 
- o Do SilcStack support for silc_mp_init, silc_mp_init_size and other
-   any other MP function (including utility ones) that may allocate
-   memory.
+ o The configuration must support dynamic router and server connections.
+   The silcd must work without specifying any servers or routers to
+   connect to.
 
- o All utility functions should be made non-allocating ones.
+ o The configuration must support specifying whether the server is
+   SILC Server or SILC Router.  This should not be deduced from the
+   configuration as it was in < 1.2.
 
+ o The configuration must support specifying the ciphers and hmacs and
+   their order so that user can specify which algorithms take preference.
 
-lib/silcasn1                   ****PARTLY DONE****
-============
 
- o ASN.1 library
+lib/silcserver
+==============
 
- o Header documentation missing.
+ o Rewrite the entire server.  Deprecate apps/silcd as the main server
+   implementation and create lib/silcserver/.  It is a platform
+   independent server library.  The apps/silcd will merely provide a
+   a simple interface for the library.
 
- o Some string encodings missing (copy/paste matter).
+ o Write the SILC Server library extensively using SILC FSM.
 
+ o Server library must support multiple networks.  This means that one
+   server must be able to create multiple connections that each reach
+   different SILC network.  This means also that all cache's etc. must
+   be either connection-specific or network-specific.
 
-lib/silcpkix
-============
+ o Library must support dynamic router and server connections.  This means
+   that connections are create only when they are needed, like when someone
+   says JOIN foo@foo.bar.com or WHOIS foobar@silcnet.org.
 
- o PKIX implementation
+ o Library must support server-to-server connections even though protocol
+   prohibits that.  The responder of the connection should automatically
+   act as a router.  The two servers create an own, isolated, SILC network.
+   To be used specifically with dynamic connections.
 
+ o Library must support multiple threads and must be entirely thread safe.
 
-lib/silcutil/silcfsm.[ch]      ****DONE****
-=========================
+ o Library must have support for SERVICE command.
 
- o SILC Finite State Machine API.  Replaces SILC Protocol API,
+ o Both UDP and TCP support for incoming connecetions.  Maintaining long
+   term UDP sessions.
 
+ o The server must be able to run behind NAT device.  This means that
+   Server ID must be based on public IP instead of private IP (See
+   also NAT detection protocol in SILC protocol specification).
 
-lib/silcutil/silcnet*, lib/silcutil/*/silc*net*                ****PARTLY DONE****
-===============================================
+ o The following data must be in per-connection context: client id cache,
+   server id cache, channel id cache, all statistics must be
+   per-connection.
 
- o Add UDP interface
+ o The following data must be in per-thread context: command context
+   freelist/pool, pending commands, random number generator.
 
- o New network interfaces
+ o Do inccoming packet processing in an own FSM thread in the
+   server-threads FSM.  Same as in client library.
 
- o Other functions should remain as they are since these new functions have
-   to use them.  This way we also provide them for applications that want
-   to handle the sockets by themself.
+ o Binding to other ports than 706 too.  To allow easier traversing
+   through NATs and firewalls server should also bind to 80, 443 and 7706
+   by default (at least try to bind).  Connections must work normally
+   even if they were established to some other port other than 706.
 
+   Connection option that attemps to connect to remot server with various
+   different mechanisms: UDP 706, TCP 706, TCP 80, TCP 443, UDP 7706 and
+   TCP 7706.  This is the so called hole punching mechanism.
 
-apps/silcd
-==========
+ o Ability to recover from rekey errors, at least try to.
+
+ o Reference count all Silc*Entry structures.
 
- o Remove the big switch statement from the function
-   silc_server_packet_parse_type and replace it with predefined
-   table of function pointers where each of the slot in table
-   represents the packet type value.
+ o All channel names in any command (where appropriate) must be allowed to
+   be in format channel@server so that the server can be connected to do
+   the command for the channel.  Change protocol if it doesn't allow it.
 
-   Same could be done with notify packets which has big switch
-   statement too.  Same kind of table of notify callbacks could be
-   done as well.
+ o All nicknames in any command (where appropriate) must be allowed to be
+   in format nick@server so that the server can be connected to do the
+   command for the nickname.  Change protocol if it doesn't allow it.
 
- o The parser callback in the server will add a timeout task for
-   all packets.  It will require registering and allocating a
-   new task to the SilcSchedule.  Maybe, at least, for server
-   and router packets the parser would be called immediately
-   instead of adding it to the scheduler with 0 timeout.  It
-   should be analyzed too how slow the task registering process
-   actually is, and find out ways to optimize it.
+ Some issues that must be kept in mind from 1.0 and 1.1 silcd's:
+
+ o The server and router software MUST work out of the box.  After
+   installation the server must not require any configuration to run the
+   most basic working configuration.  No defining IP addresses, etc.
+   The server must work just by running it.
 
  o The SERVER_SIGNOFF notify handing is not optimal, because it'll
    cause sending of multiple SIGNOFF notify's instead of the one
@@ -240,20 +189,6 @@ apps/silcd
    done per channel.  It shouldn't receive the whole list just
    because one client happened to be on same channel.
 
- o MAYBE: The SilcChannelClientEntry can be:
-       SilcUInt32 address;
-       SilcUInt32 mode;
-
-  where address is SilcClientEntry address XOR SilcChannelEntry.
-  You can get SilcClientEntry by doing client = chl->address XOR channel,
-  and SilcChannelEntry by doing channel = chl->address XOR client.
-  As long as the other pointer is always available when accessing the
-  structure this can be done.
-
- o Add reference counters to all Silc*Entry structures
-
- o SERVICEs support (plugin, SIM)
-
  o If client's public key is saved in the server (and doing public key
    authentication) then the hostname and the username information could
    be taken from the public key.  Should be a configuration option!
@@ -263,6 +198,10 @@ apps/silcd
    seconds.  Now it is possible to accept n incoming JOIN commands
    and process them without any timeouts.  THis must be employed because
    each JOIN command will create and distribute the new channel key
-   to everybody on the channel (Fix this to 0.9.x).
+   to everybody on the channel.
 
- o The CMODE cipher & hmac change problem (#101).
+ o Related to above.  If multiple JOINs are received in sequence perhaps
+   new key should be created only once, if the JOINs are handeled at the same
+   time.  Now we create multiple keys and never end up using them because
+   many JOINs are processed at the same time in sequence.  Only the last
+   key ends up being used.