Posso usar o “I went” isoladamente?

Com o tempo usando esta frase, comecei a achar estranho o uso isolado, que nos português seria o equivalente ao “eu fui..”.

As vezes em alguma conversa alguém me pergunta:

-So, Max, did you go to the supermarket yesterday?

Já respondi várias perguntas deste tipo com:

-yes, I went.

Hoje em dia eu respondo com:

-Yes, I did.

But, queria mesmo saber se o “I went” que eu usava estava errado. Teria que colocar um complemento para ficar certo? Tipo “I went there”?

Obrigado!!