Por que não uso o ''to'' em ''Let's listen''?

Gostaria de saber o porquê de não usarmos o ''to'' já que o ''ouvir'' é um verbo que termina com ''ir''. Eu aprendi que em verbos devemos sempre usar o ''to''. Alguém pode me ajudar ?

Hello!

Let's listen = let us listen
É imperativo (polido) "vamos escutar"
Tem a mesma estrutura do "let it go" da música e da animação "Frozen"
Ou da canção "Let it be" dos Beatles.
Agora verbos infinitivo além de usarem to, também podem aparecer sem ele e com -ing, faça uma busca no English Experts por infinitives.

Cheers!