Tradução de "we miss not having to wake up early''

Fiquei em dúvida nessa frase que vi em um site: "We miss not having to wake up early. "
Qual seria a tradução correta? A posição do "not" muda o sentido da frase?
MENSAGEM PATROCINADA Para aprender mais sobre os Tempos Verbais baixe agora o: Guia Grátis de Tempos Verbais em Inglês. Ele contém um resumo bem estruturado para revisar os conceitos que você aprendeu na escola.

Clique aqui e saiba como baixar!
"Nós sentimos falta de não ter que acordar cedo"
Caso a posição do "not" fosse alterada, precisaríamos utilizar o auxiliar: Do
Por exemplo:
We don't miss having to wake up early