Decolorare un rettangolo in un Canvas

[aioria8]

Salve,
come ho scritto nel titolo vorrei riuscire a togliere il colore ad un rettangolo disegnato su un canvas.
Il contesto è una View a tutto schermo con un immagine di background.
Sull immagine uso un canvas sul quale disegno una serie di rettangoli.
Quando clicco i rettangoli sul display li faccio colorare di giallo, ma se li re clicco vorrei che il colore sparisse e rimanesse l'immagine di background.

Ad ora per togliere il colore uso una questo codice:

Paint myPaint = new Paint();
myPaint.setXfermode(new PorterDuffXfermode(PorterDuff.Mode.CLEAR));
myCanvas.drawRect(rect, myPaint);

in questo modo però oltre a togliere il colore non vedo più l' immagine di sfondo sotto al rettangolo decolorato.
C' è un modo per eseguire ciò che cerco o devo cancellare tutto il canvas e ridisegnare le parti non interessate?