Legenda x Compreensão do inglês falado

Hello, guys! Tudo bem?

Então, eu gostaria de tirar uma dúvida.

Quando vou assistir alguma série, filme, vídeo, etc. Legendado, principalmente em português, eu consigo entender e associar o som e as palavras com o que as pessoas falam e a tradução, mas se eu tirar a legenda eu não consigo entender mais nada. Vocês podem me dizer o porque acontece e como melhorar essa questão? Isso acaba me desmotivando muito a continuar estudando. Thank you so much!