Não há dica melhor para este propósito do que a que você já tem feito, ou seja OUVIR !
Nesta esteira, a tendência é que as tuas dificuldades na compreensão oral diminuam a medida em que você avança nos estudos. Importante, é sempre buscar uma diversificação de origem dos áudios/videos, concernente por exemplo, aos temas, etnias, gênero, nacionalidades e intensidade sonora.
É preciso ainda, notar que muitas vezes isto não se trata de uma dificuldade sua, pelo contrário, refere a uma variação ou a erro linguístico de fato, e que pode ter diversas causas, tais como: coloquialismo e analfabetismo. Isto é observado tanto em falantes da língua Inglesa nativos, quanto não nativos.
favoravão!