Como aprender compreensão auditiva?

Olá.
A forma como eu aprendi inglês foi de maneira autodidata estudando a gramática e lendo textos em inglês com ajuda de dicionário.

Mas agora preciso aprender a entender o que está sendo falado oralmente. O problema é que não consigo entender as palavras que eles falam, mesmo conhecendo todas as palavras da frase falada. Tenho a sensação de que eles falam rápido, pulam sílabas e fundem palavras, deixando a compreensão mais difícil.

O problema com os cursos de inglês acessíveis é que eles ensinam escrita, gramática e conversação ao mesmo tempo. Assim, eu não gostaria de ter aulas de gramática já que a parte onde estou zerado é só compreensão auditiva.

Agradeço pela ajuda.