Secondo me non è un problema del kernel di per se, perché è sempre andato liscio, magari il kernel con la Saosp non da il meglio...
Per togliere i dubbi proverei intanto un altro kernel,vedi cosa ti consigliano perché io mi sono sempre trovato bene con lo stock e gli altri li ho provati per poco