Past simple x Past perfect

Olá amigos,
Estava estudando e respondi uma questão com a frase " First he had listened to the announcement, then he went to a café for a drink.
Mas a resposta correta foi " First he listened to the announcement, then he went to a café for a drink."
Por favor, alguem poderia explicar-me, porque pensei que quando tinhamos 2 tempos passados em uma frase, o que foi feito primeiro seria com "had + participio" e o que vinha em seguida seria past simple.
Desculpem me se for uma pergunta boba.
Gratos, abs
Nelson