Come to me x come with me: Qual o correto?

Estou em dúvida em relação a quando usar o with por exemplo já ouvi expressões do tipo come to me e fiquei na dúvida, se o certo não seria come with me, bom pergunto aos senhores em que casos eu devo utilizar with me.
Desde já grato!