At your time é correto?

At your time
Tem um significado de na época/período/momento em que algo acontecia, por exemplo:
- Looking back at the time when you worked as a teacher, I see no difference in your behaviour.

Veja vários exemplos aqui:
Ref. youglish

Take your time
Passa uma de ideia de aproveitar o tempo disponível ou de fazer alguma atividade na velocidade que você achar necessária.
- Just take your time and get it right.

Veja vários exemplos aqui:
Ref. youglish

Espero ter esclarecido

Vamos aguardar a colaboração dos nossos colegas para mais sugestões.

Mas eu posso, por exemplo, usar "at your time" para dizer que a pessoa não precisa se preocupar com a demora, que pode fazer no tempo dela?

Tipo... "don't worry, at your time" ?

Giovanna, como já foi explicado anteriormente, "at your time" não se amolda ao contexto apontado por você. Essa expressão existe, não está errada, todavia não há lógica de usá-la no sentido que você indicou.

Portanto, a sua sentença deveria ficar assim: "Don't worry. Do it in your own time" ou "Don't worry. Take your time".