Como dizer "Quem tira você do sério?" em inglês

Tirar do sério, no sentido de te fazer rir? (não de deixar bravo, irritado, nervoso.)
Acho que sim, que o título acima na primeira acepção.

6) set somebody off to make someone start laughing, crying, or talking about something:
British English: Don't mention what happened - you'll only set her off again.

Ref. ldoceonline

Eu nunca vi a expressão usada para "fazer rir". Deve ser irritar mesmo.

set someone off
1. Fig. to cause someone to become very angry; to ignite someone's anger. (Based on set something off {2}.) That kind of thing really sets me off ! Your rude behavior set off Mrs. Franklin.

Indeed, it seems like it can be both. Since "set off" kinda suggests something that "triggers/instigage/brings out/spark off/start (something)" etc.

To push someone's buttons

Quem tira você do sério?

Who pushes your buttons?

Exemplo: Who Pushes Your Buttons?
Next time someone pushes your button, look inward instead of outward for the key to restoring your inner peace. Ref. huffpost

Cf. Como dizer "sair do sério" em inglês