Tradução de "we miss not having to wake up early''

Fiquei em dúvida nessa frase que vi em um site: "We miss not having to wake up early. "
Qual seria a tradução correta? A posição do "not" muda o sentido da frase?
MENSAGEM PATROCINADA Você sabe como está o seu nível de inglês? Teste agora GRÁTIS em apenas alguns minutos.

Clique aqui para iniciar o Teste Online!
"Nós sentimos falta de não ter que acordar cedo"
Caso a posição do "not" fosse alterada, precisaríamos utilizar o auxiliar: Do
Por exemplo:
We don't miss having to wake up early