Stick to x Stick with: Qual utilizar

Qual é a diferença de "stick to e stick with", ou posso usar normalmente um e outro? Ou um é mais forte e decidido que o outro?
Como let's stick with the book ou let's stick to the book? "vamos continuar com o livro". Tem algum que dá uma idéia de não desistir, não mudar planos qdo algo é difícil e outro mais de mesmo que tenha parado, mas é para persistir? Ou um é para pessoas e outro para objetos?