Listening apenas com legendas

Olá Pessoal,

Estou numa ofensiva para aprender inglês desde Janeiro deste ano. Diariamente, tento ouvir PODCASTs, ou um vídeo do Youtube, palestras, entre outras midias para Begginers em inglês. Porém, não consigo entender muitas palavras, somente algumas que são mais cognatas. Sendo assim, muitas vezes não entendo o contexto do que estou ouvindo. Mas, quando este tem o transript ou a legenda também em inglês, consigo entender a maioria das palavras e entendo o assunto.

Bom, gostaria de saber se há algum problema em sempre que ouvir um audio em inglês já procurar uma legenda, ou seja, acostumar a ler enquanto ouve. E também o que posso fazer para melhorar a compreensão das palavras. Isso será apenas com o tempo? Mesmo que não esteja entendendo grande parte das palavras, é melhor continuar ouvindo sem uma legenda?

Desde já agradeço,