Non so quante e quali app tu abbia. Onestamente non ho questi problemi di lag... 5 secondi sono tantissimi!
E non mi pare che la ram sia un problema: il Nexus S, device sul quale è stato sviluppato ICS, ne ha anche meno (sempre 512 sulla carta ma nel Nexus ci sono 128 mega assegnati irrimediabilmente alla GPU) e non ha problemi. Visto che hai i permessi di root, potresti leggere qualche thread tecnico su XDA e "lavorare" un po' sul file build.prop in modo da modificare il comportamento del sistema con le app in esecuzione.
Per esempio trovo molto istruttivo il forum dedicato al modding del Milestone: avendo questo solo 256 mega, lì sì che è necessario spremere fino all'ultimo kb!