gccのバージョンに注意します。kernel-source-2.4.20は、gcc-3.3に対応していません。/usr/bin/gccのリンクを変えてしまうか、Makefile内のHOSTCCとCCを調節しましょう。
さらに、ALSAをコンパイルするときは、$ CC=gcc-3.2 fakeroot make-kpkg....のようにするとよいでしょう。
詳しくは、/usr/share/doc/kernel-source-2.4.20/debian.README.gzを読みましょう。
USBマウスを使うには、ここらへんを参考に。さらに、input core supportにて、CONFIG_INPUT=yなどとする必要もあります。きちんとkernel構築&設定できれば、USBマウスを挿せばOKです。
kernel-patch-2.4-preemptがよいようですが、どのくらい効果的なのか知りません。これはまたの機会に。
_ 6/6 後日談：kernel-patch-2.4-preempt入れましたが、特に変わらず。特別良くなったわけでも、悪くなったわけでもありません。ならば入れておいた方がよいかも。