Porque o uso do That em "Not that long ago"?

Vi uma frase "Not that long ago" em um filme, e a tradução era "Pouco tempo atrás".
Eu não entendi até hoje o motivo do uso do that.
Fiz a pergunta ao meu professor de inglês, mas não entendi muito bem a explicação.
Alguém poderia me explicar qual o motivo do uso do that neste frase, e qual o significado e em quais outros tipos de frases ou contextos se usa o mesmo?