Entender 40% é não estar aprendendo?

Minha dúvida é sobre "ouvir um podcast que eu entenda"

Eu andei dando uma olhada no site e aquele artigo sobre entender o que ouve me deixou com muitas duvidas.

Para aprender inglês eu pego um podcast que sejá interessante para mim e ouço durante uns 3 ou 4 dias depende da dificuldade para entender, vou ouvindo e anotando as palavras e frases que eu não conheço , ouço até eu esquecer que a conversa é em inglês.
Mas quando eu pego assim de primeira para ouvir , as vezes entendo 70% , as vezes 40% ou sejá preciso sempre consultar o transcript até entender 100%.

Muitos dizem que temos que ouvir o que conseguimos entender, mas eu não tenho paciencia de ficar ouvindo "de onde você vem, pra onde você vai,o que você gosta de comer", e os podcast que eu gosto tem sempre um nivel "Intermediario" , minha duvida é ,

Eu nunca vou aprender inglês assim?
Eu vou demorar mais para aprender doque uma pessoa que ouve algo que entende 100%?