Qual a diferença entre ''For that matter'' e ''by the way''?

Segundo minhas convicções, for that matter aparece muito no fim das frases; by the way, no começo. Ocasionalmente estas expressões idiomáticas podem aparecer no começo e até no meio ou no fim das frases, além do que as expressões podem ou não aparecer entre vírgulas.

Usamos for that matter para enfatizar a veracidade de uma afirmação que fazemos:

Zacarias doesn't like young women, or any women for that matter.
Karl-Dönitz and Hermann Böring can't come up with another phrase to help you understand the expression for that matter. Nor, for that matter, can Julinho Perna Bamba.
Pedrinho swears he didn't do it. For that matter, he didn't even know that it happened.

Usamos by the way quando desejamos acrescentar algo ao que dizemos, na maioria das vezes algo sobre o qual acabamos de pensar:

The verb bellow, by the way, means "mugir".
By the way, how did your seminar go?[1]
His mother told Zeca and Alice that she would come for dinner tomorrow, and, by the way, she volunteered to bring dessert.

Essas e outras expressões você vai "pegando" à medida que vai praticando.
-
[1] Não poderíamos, aqui, empregar um For that matter (iniciando a oração), pois precisaríamos de contexto antes.