se hai settato il kernel con valori troppo "bassi" sia in voltaggio sia in clock della cpu e della gpu è molto probabile che il cell faccia fatica a "svegliarsi" dal deep sleep.
Ecco il motivo di cotanto ritardo.
Nel caso del dorimanX il problema di cui tu parli è un pò più accentuato.