Ogni cosa che installi, specie se dotata di servizi attivi in background, inficia le performance del dispositivo. Tuttavia dubito che un telefono con Xposed e 4-5 moduli abbia cali prestazionali, visibili dall'occhio umano, rispetto ad un telefono che non li ha. Insomma ti direi di stare tranquillo e di provare... poi se vedi che qualcosa non ti soddisfa (ad esempio rilevi che in avvio il telefono ci mette qualche nanosecondo in più :P ) puoi sempre disinstallare il modulo e/o Xposed.
PS. mai provati i moduli relativi ai temi e nemmeno i temi della CM quindi di quelli non parlo ma, secondo me, anche lì il calo prestazionale sarà assai modesto
EDIT: visto che hai introdotto il capitolo dei temi, mi chiedevo se esiste qualcosa che permetta di stravolgere la GUI del telefonino (ad esempio trasformandola in stile Lollipop, o iOS, o Windows Phone o, magari, qualcosa di più originale...)