Probabilmente dipende se il supersu è installato systemless oppure no.
Una volta ho provato anch'io sul mio terminale con android Lollipop e supersu non systemless, e se non ricordo male sia l'app supersu che il file "su" in /system/bin erano ancora presenti.
Potrei anche sbagliare, prossimamente farò un'ulteriore prova.