Invece sbagli, tu fai mirroring, utilizzando un mare di risorse in più non necessarie.
Non fare trasmetti schermo, non collegarti al TV ma apri semplicemente la App di Youtube: scegli il video da guardare e da dentro la App di Youtube cerca il pulsantino per connetterti alla Chromecast: in questo modo sfrutti pienamente le funzionalità della Chromecast e non ti si bloccherà più nulla