In realtà no, potere si può, basta usare aspp contatti di terze parti. Con Go Contacts (o quello che vuoi) per esempio puoi eradere tutto, cambiare i gruppi e fare quello che vuoi.
Però si presenta il problema della sincronizzazione con google, perchè se elimini un certo numero di contatti google segnala che ne hai cancellati troppi e va in loop, o cancelli anche quelli su google o te li ripristina, o ti tieni la notifica della cancellazione e hai problemi di sincronizzazione.
Puoi però risolvere parzialmente eliminando tutto da telefono e google e poi ripristinando uno stato precedente su google , quando non avevi i contatti duplicati, ma non funziona alla perfezione, qualche contatto te lo perdi di solito.