"I have no idea" - "Neither do I" or "So do I"

Se numa conversa alguém me dissesse "I have no idea" ou "I have no time" e eu quisesse responder dizendo que também não faço ideia ou não tenho tempo, o correto seria dizer "So do I" ou "Neither do I". Em uma estrutura negativa comum "I don't have time" eu responderia "Neither do I" correto? Mas no caso, acho que a frase é negativa, mas a estrutura é afirmativa(perdoem-me se estou falando besteira).