Per non visualizzare i contatti di Whatsapp, togli il flag alla voce Whatsapp dalla rubrica.
Per quanto riguarda Whatsapp invece tiene memorizzato nella "sua" rubrica ogni numero che ha utilizzato l'applicazione, quindi se ad es. un tuo contatto non lo usa più o ha cambiato numero, lo ritroverai sempre nella rubrica di Whatsapp... Bug che andrebbe corretto.