Supponendo che la variabile tableLayout che hai usato sopra sia dichiarata come variabile di istanza e che il codice che hai postato venga eseguito alla creazione della activity, aggiungerai un bottone da premere quando hai finito l'inserimento e nel codice di gestione metterai una cosa del genere:
codice:
for(int i = 0; i < 4; i++)
{ TableRow tr = tableLayout.getChildAt(i);
for(int j = 0; j < 4; j++)
{ EditText et = tr.getChildAt(j);
Matrice[i][j] = et.getText().toString(); // Se Matrice contiene valori numerici devi trasformare la stringa in numero.
}
}