Ported SILC Net API (TCP & UDP), SILC Socket Stream API,
[silc.git] / TODO
1 TODO for 1.1 And Beyond
2 =======================
3
4 NOTE: Any item that doesn't have (***DONE) in it, isn't done yet.  The
5 (***TESTING NEEDED) means that the item has been done but not yet properly
6 tested.
7
8
9 apps/silcd, The SILC Server     ****PARTLY DONE****
10 ===========================
11
12  o Port all code to use SILC Toolkit 1.1 APIs.
13
14  o Fix/test GETKEY.
15
16  o Fix/test MOTD.
17
18  o Remove protocol.[ch].  ***DONE
19
20  o Rewrite connecting accepting. (***TESTING NEEDED)
21
22  o Rewrite async connecting. (***TESTING NEEDED)
23
24  o Connecting from SILC router to SILC server.
25
26  o Rewrite rehash, HUP.
27
28  o Heartbeat-keepalive.
29
30  o Test backup router resuming protocol.
31
32  o Check all packet receive routines that they call silc_packet_free.
33
34  o Add Web statistics module using lib/silchttp.  Give out server
35    statistics.
36
37
38 SILC Client     ****PARTLY DONE****
39 ===========
40
41  o Porting to new Toolkit API and new Client Library API (***TESTING NEEDED)
42
43  o Improve help files, especially /cmode, /cumode and /key.
44
45
46 lib/silcclient, The Client Library      ***PARTLY DONE****
47 ==================================
48
49  o in JOIN notify handle resolving that timedout.  Currently the user is
50    never joined the channel if this happens.  What to do if message is
51    received from user that hasn't been resolved/joined?  (maybe 1.1, latest
52    1.2)
53
54  o silcclient.h clean up and API rewrites.
55
56  o silcclient_entry.h finishing, all entry relates APIs to this header.
57
58  o SilcChannelEntry, SilcServerEntry, SilcChannelUser, allocating,
59    freeing, finding, etc. rewrite.  Also making them reference counted for
60    multi threads use. (***DONE)
61
62  o Rewrite silc_client_get_clients_by_channel.
63
64  o Rewrite client side WHOIS command (for whois -details). (***DONE)
65
66  o Finish all the missing SILC packet processings, rewrites. (***DONE)
67
68  o The client_notify.c rewrite. (***DONE)
69
70  o Resuming to client_register.c (remove client_resume.c) (***DONE)
71
72  o Rekey rewrite. (***DONE)
73
74  o Remove protocol.[ch]. (***DONE)
75
76  o File transfer rewrite. (***DONE)
77
78  o File transfer API documentation.
79
80  o Connection auth request. (***DONE)
81
82  o Password auth test, public key auth test.
83
84  o Starting key exchange directly, rewrite. (***DONE)
85
86  o Channel messages, channel private keys, channel entires, channel
87    search, etc. rewrite. (***TESTING NEEDED)
88
89  o For many APIs leave the hash context allocations to the caller instead
90    of using client->sha1hash and client->md5hash, or some kind of thread
91    safe (no locking) concept. (***DONE)
92
93  o Key agreement rewrite. (***TESTING NEEDED)
94
95  o Connecting to remote client (***DONE)
96
97  o peer-to-peer private messages
98
99  o Private message waiting API (in threads) (***TESING NEEDED)
100
101  o client_attrs.c, attributes rewrite. (***TESTING NEEDED)
102
103  o No SilcBuffer lists back to application in command_reply operations.
104    Convert them all to real lists and/or structures for easier use.
105    (***DONE)
106
107  o Nickname formatting rewrite. (***TESTING NEEDED)
108
109  o UDP connections. (***TESTING NEEDED)
110
111  o Message ACKing.
112
113  o in /cmode and /cumode with +r, maybe the public key and private key
114    could be just some "string", which would then match to "string.pub" and
115    "string.prv".
116
117  o All packet waiting timeout tests and error condition tests.
118
119
120 lib/silcsftp                    ****DONE****
121 ============
122
123  o Porting to use the new util library. (***DONE)
124
125  o Read-ahead (1.2)
126
127
128 lib/silccore/silcpacket.[ch]    ****PARTLY DONE****
129 ============================
130
131  o SilcPacketEngine. (***DONE)
132
133  o New SILC Packet API. (***DONE)
134
135  o Implement silc_packet_engine_stop and silc_packet_stream_destroy. (***DONE)
136
137  o IV Included flag support, UDP transport support (***TESTING NEEDED)
138
139  o SILC_PACKET_FLAG_ACK support.  Implement ACK packet and packet payload.
140
141
142 lib/silccore/silcid.[ch]        ****DONE****
143 ========================
144
145  o Add silc_id_str2id to accept the destination buffer as argument
146    and thus not require any memory allocation.  Same will happen
147    with silc_id_payload_* functions. (***DONE)
148
149  o silc_id_str2id, silc_id2str to non-allocating routines. (***DONE)
150
151
152 lib/silcskr     ****PARTLY DONE****
153 ===========
154
155  o Removing key from the repository is not possible currently.  It should
156    be. (***DONE)
157
158  o Add fingerprint as search constraint. (1.2)
159
160
161 lib/silcske/silcske.[ch]        ***PARTLY DONE****
162 ========================
163
164  o Responder rekey (***TESTING NEEDED)
165
166  o IV Included flag support in SKE (***DONE)
167
168  o UDP transport changes; retransmission support by using exponential
169    backoff algorithm. (***DONE)
170
171  o SilcConnAuth header file documentation. (***DONE)
172
173  o Ratelimit to UDP/IP transport for incoming packets. (1.2)
174
175
176 lib/silccrypt                   ****PARTLY DONE****
177 =============
178
179  o Implement PKCS #1 sign/verify with hash OID. (***TESTING NEEDED)
180
181  o Implement SILC Public Key Version 2 handling in sign/verify.  Implement
182    Version (V) identifier (***DONE)
183
184  o Add fingerprint to SilcSILCPublicKey and retrieval to silcpk.h.
185
186  o SILC PKCS (silcpkcs.h) reorganizing when other PK supports added.
187    Move the SILC Public Key routines away from the crypto library into
188    the core library (silccore).  silc_pkcs_public/private_key_* routines
189    to silc_public/private_key_* routines.  The silc_public_key_* routines
190    should also automatically handle SILC Public Keys, and other keys
191    and certificates as well.  Add fe. silcpk.h into silccore.  It should
192    also include the Public Key Payload encoding and decoding routines.
193    (***DONE)
194
195  o Assembler AES (***DONE)
196
197  o Implement the defined SilcDH API.  The definition is in
198    lib/silccrypt/silcdh.h. (1.2)
199
200  o SSH2 public keys support, allowing the use of SSH2 public keys in
201    SILC. (1.2)
202
203  o Add DSS support (1.2)
204
205  o ECDSA and ECDH (1.2)
206
207
208 lib/silcutil                    ****PARTLY DONE****
209 ============
210
211  o The regex code from lib/contrib might compile fine on all platforms.
212    No need to make it silcutil/unix/ specific.  Add them to generic
213    silcutil.c. (***TESTNG NEEDED)
214
215  o silc_stringprep to non-allocating version.
216
217  o bool -> SilcBool (***DONE)
218
219  o Silc FD Stream to WIN32 (lib/silcutil/silcfdstream.h)
220
221  o Add builtin SOCKS and HTTP Proxy support, well the SOCKS at least.
222    SILC currently supports SOCKS4 and SOCKS5 but it needs to be compiled
223    in separately. (1.2)
224
225  o Compression routines are missing.  The protocol supports packet
226    compression thus it must be implemented.  SILC Zip API must be
227    defined. (1.2)
228
229
230 lib/silcutil/silcbuffer.h       ****DONE****
231 =========================
232
233  o Remove the `truelen' field from SilcBuffer as it is entirely
234    redundant since we can get the true length of the buffer by
235    doing buffer->end - buffer->header.  Add silc_buffer_truelen
236    macro instead.  Consider also removing `len' field too since
237    it effectively is buffer->tail - buffer->data, and adding
238    silc_buffer_len macro can do the same.  These would save
239    totally 8 bytes of memory per buffer. (***DONE)
240
241
242 lib/silcutil/silcbuffmt.[ch]    ****DONE****
243 ============================
244
245  o SilcStack aware silc_buffer_unformat (***DONE)
246
247  o SilcStack aware silc_buffer_format (***DONE)
248
249  o silc_buffer_format reallocates automatically (***DONE)
250
251  o SILC_STR_OFFSET (***DONE)
252
253
254 lib/silcutil/silcstack.[ch]     ****DONE****
255 ===========================
256
257  o Data stack implementation (***DONE)
258
259
260 lib/silcutil/silcstream.[ch]    ****DONE****
261 ============================
262
263  o Add abstract SilcStream. (***DONE)
264
265
266 lib/silcutil/silcsocketstream.[ch]      ****PARTY DONE****
267 ==================================
268
269  o Add SilcSocketStream (***DONE)
270
271  o Add SilcSocketStream for WIN32 (***TESTING NEEDED)
272
273  o Test QoS after the changes made to socket stream
274
275
276 lib/silcutil/silcschedule*.[ch]         ****PARTLY DONE****
277 ===============================
278
279  o Scheduler can be optimized for FD tasks by changing the fd_queue
280    to SilcHashTable instead of using linked list.  We need to do
281    one-to-one mapping of FD to task and hash table is more efficient
282    for this usage.
283
284    Also redefine the silc_select to perhaps return a separate
285    structure of the events that actually occurred, instead of
286    returning the events in the fd_list which is then traversed
287    in the generic code to find the changed events.  This can be
288    made faster by having own struct which includes only the
289    changed events, thus the tarversing is faster since the whole
290    fd_list is not traversed anymore (it is still traversed in the
291    silc_select but at least it removes one extra tarversing later
292    for the same list).
293
294    Other task queues should be changed to use SilcList.  (***DONE)
295
296  o Add SILC scheduler's internal routines into a table of implementation
297    function pointers, that the generic code then takes as extern from
298    implementation.  These are the silc_schedule_internal_* routines.
299    (***DONE)
300
301  o Change SILC_TASK_CALLBACK to non-static, and remove the macro
302    SILC_TASK_CALLBACK_GLOBAL. (***DONE)
303
304  o SILC Schedule API changes to WIN32. (***TESTING NEEDED)
305
306
307 lib/silcutil/silcasync.[ch]     ****DONE****
308 ===========================
309
310  o Add SilcAsyncOperation to utility library.  Any function that takes
311    callback as an argument must/should return SilcAsyncOperation.
312    (***DONE)
313
314
315 lib/silcutil/silctime.[ch]      ****PARTLY DONE****
316 ===========================
317
318  o SilcTime. (***DONE)
319
320  o system time, universal, generalized. (***DONE)
321
322  o Fix universal time decoding (doesn't accept all forms) in silctime.c.
323
324
325 lib/silcutil/silcfsm.[ch]       ****DONE****
326 =========================
327
328  o SILC Finite State Machine API.  Replaces SILC Protocol API (***DONE)
329
330
331 lib/silcutil/silcnet*, lib/silcutil/*/silc*net*         ****PARTLY DONE****
332 ===============================================
333
334  o Add UDP interface (***DONE)
335
336  o Add UDP interface for WIN32 (***TESTING NEEDED)
337
338  o New network interfaces (***DONE)
339
340
341 lib/silcmath
342 ============
343
344  o Import TFM.  Talk to Tom to add the missing functions.  Use TFM in
345    client and client library, but TMA in server, due to the significantly
346    increased memory consumption with TFM, and the rare need for public
347    key operations in server.
348
349  o Change LTM and TFM function names when importing to SILC tree to avoid
350    rare linking problems on system that has same named symbols already in
351    the system.
352
353  o The SILC MP API function must start returning indication of success
354    and failure of the operation.
355
356  o Do SilcStack support for silc_mp_init, silc_mp_init_size and other
357    any other MP function (including utility ones) that may allocate
358    memory.
359
360  o Test on x86_64.
361
362  o All utility functions should be made non-allocating ones.
363
364
365 lib/silcutil/symbian/           ****PARTLY DONE****
366 =====================
367
368   o lib/silcutil/symbian routines missing or not completed.
369     (****TESTING NEEDED)
370
371   o Something needs to be thought to the logging globals as well,
372     like silc_debug etc.  They won't work on EPOC.  Perhaps logging
373     and debugging is to be disabled on EPOC.
374
375
376 lib/silcasn1                    ****PARTLY DONE****
377 ============
378
379  o ASN.1 library (***DONE)
380
381  o Header documentation missing. (***DONE)
382
383  o Some string encodings missing (copy/paste matter). (***DONE)
384
385  o Negative integer encoding
386
387
388 lib/silccore
389 ============
390
391  o All payload encoding routines should take SilcStack as argument. (1.2)
392
393  o All payload test routines into lib/silccore/tests/.
394
395
396 lib/silcpkix (1.2)
397 ============
398
399  o PKIX implementation
400
401
402 lib/silcpgp (1.2)
403 ===========
404
405  o OpenPGP certificate support, allowing the use of PGP public keys
406    in SILC.
407
408
409 lib/silcserver (1.2)
410 ==============
411
412  o (Re)write commands/command replys.
413
414  o (Re)write notify handling.
415
416  o The SERVER_SIGNOFF notify handing is not optimal, because it'll
417    cause sending of multiple SIGNOFF notify's instead of the one
418    SERVER_SIGNOFF notify that the server received.  This should be
419    optimized so that the only SERVER_SIGNOFF is sent and not
420    SIGNOFF of notify at all (using SIGNOFF takes the idea about
421    SERVER_SIGNOFF away entirely).
422
423  o Another SERVER_SIGNOFF opt/bugfix:  Currently the signoff is
424    sent to a client if it is on same channel as the client that
425    signoffed.  However, the entire SERVER_SIGNOFF list is sent to
426    the client, ie. it may receive clients that was not on the
427    same channel.  This is actually against the specs.  It must be
428    done per channel.  It shouldn't receive the whole list just
429    because one client happened to be on same channel.
430
431  o MAYBE: The SilcChannelClientEntry can be:
432         SilcUInt32 address;
433         SilcUInt32 mode;
434
435   where address is SilcClientEntry address XOR SilcChannelEntry.
436   You can get SilcClientEntry by doing client = chl->address XOR channel,
437   and SilcChannelEntry by doing channel = chl->address XOR client.
438   As long as the other pointer is always available when accessing the
439   structure this can be done.
440
441  o Add reference counters to all Silc*Entry structures
442
443  o SERVICEs support (plugin, SIM)
444
445  o If client's public key is saved in the server (and doing public key
446    authentication) then the hostname and the username information could
447    be taken from the public key.  Should be a configuration option!
448
449  o Add a timeout to handling incoming JOIN commands.  It should be
450    enforced that JOIN command is executed only once in a second or two
451    seconds.  Now it is possible to accept n incoming JOIN commands
452    and process them without any timeouts.  THis must be employed because
453    each JOIN command will create and distribute the new channel key
454    to everybody on the channel (Fix this to 0.9.x).
455
456  o Related to above.  If multiple JOINs are received in sequence perhaps
457    new key should be created only once, if the JOINs are handeled at the same
458    time.  Now we create multiple keys and never end up using them because
459    many JOINs are processed at the same time in sequence.  Only the last
460    key ends up being used.
461
462  o The CMODE cipher & hmac change problem (#101).