''It's up to you'' - é uma expressão grosseira?

Ola, gostaria de saber se o uso do it`s up to you demonstra falta de educacao ou soa rude. Outro dia estava sentada em uma mesa com 2 cadeiras vagas e um amigo que estava em outra mesa perguntou se podia pegar alguma, mas ficou na duvida : Tipo: qual que eu pego? Posso pegar as duas? Eu eu falei: It s up to you. Porem a amiga que estava comigo disse que It s up to you e rude, mal educado... Tentei discordar, mas nao tinha argumentos suficientes. Entao pergunto: E de fato rude?