"Always" pode ser usado em todos os tempos verbais?

Olá pessoal, eu li que no simple present é muito comum encontrarmos advérbios de frequência associados (often, generally, always).
Por exemplo: "Peter always visits his mother".

Ontem, eu acabei escrevendo uma frase, dessa vez usando outro tempo verbal, e fiquei confuso com o advérbio "ALWAYS".
A frase é essa: " ... And I've always caught me trying to sing it"
Nesse tempo verbal que escolhi, soaria estranho para nativos o uso da palavra always?
Ou advérbios de frequência são usos exclusivos do Simple Present?