É bom aprender inglês fazendo anotações no caderno?

Não leciono, mas vejo pelo que está passando. Você já pensou em arranjar -- se não já arranjou -- um(a) amigo(a) falante nativo de inglês com quem possa dialogar? Vê muitos filmes em inglês? Eles ajudam bastante. As músicas em inglês também ajudam.

Não deixe a ansiedade de querer aprender tudo de uma só vez tomar conta de você. Mesmo na fase intermediária você deve absorver, aos poucos, as lições e os podcasts. Eu venho aprendendo inglês desde 1970, e ainda não sei tudo! Ao longo desses anos dialoguei com alguns americanos e, pelo menos, com uma enfermeira inglesa de férias no Recife-PE. Relacionei-me com uma americana por telefone e por email durante quatro anos, quando ainda não existiam as redes sociais. Aprendi muito inglês com ela e ela português comigo.

Encare as dificuldades como uma fase passageira. Você já tem dois anos de curso. Com mais dois você termina, não?

Agora mesmo, estou tentando aprender alemão pelo duolingo. Vai fazer um mês e ainda não passei da primeira lição! Ainda estou naquela do "Como vai você?" e o "Meu nome é Fulano de Tal", só que o duolingo vem reprovando minha pronúncia! Mas vou tentar até conseguir!

E, sim, as anotações ajudam.

Pois bem, vamos ver se entendi.
Você nos informa que o curso não foca muito na conversação e é aí que você quer melhorar. Em seguida, você nos conta que grava áudios de 2 minutos cada dia. E mais, que aprende duas palavras expressões/dia.
Acho que são três itens aqui, mas quero lembrar que o aprender expressões deve ser seguido de usar expressões, de fixá-las na memória, de fazê-las parte de seu repertório vocabular.
É aí que tá, se você não usa o que aprende, equivale a não aprender, por que você esquece.
Aí entra o "conversation", a leitura de diversos tipos de gêneros (diversos como thrillers, drama, legal thrillers, medical thrillers, fiction, non fiction, etc.) Assim, as expressões começarão a "se repetir" e fixar, aumentando seu conhecimento vocabular.
Claro que isso aqui é apenas um comentário (e leigo, por sinal), mas espero que possa ser de ajuda para uma autocrítica, assim você pode ter ideia da direção inicial em que você quer ir. Um professor, um colega, alguém que esteja mais próximo pode, junto com você, avaliar seus fortes e fraquezas e "atacar" as potenciais dificuldades que você está tendo no aprendizado.
A sensação de que "está parado", em algumas situações é normal e esperada, faz parte pois ninguém é um computador ou máquina. Mas, há que se ver caso a caso.

I hope it helps!

Escrever no seu caderno ajuda bastante porque é como se estivesse a tocar cada palavra com as suas mãos. Ajuda a conhecê-las. Também deve repetir em voz alta. Sugiro que repita as frases tantas vezes quantas forem necessárias, pois que a repetição é um dos factores da aprendizagem, mas repita em voz alta: os ouvidos devem ouvir. Use o maior número dos órgãos do sentido. Olhe as palavras, escreva as palavras, pronuncie as palavras e oiça as palavras. Se não tiver com quem conversar (feche-se no seu quarto, para não pensarem que enlouqueceu), fale consigo mesmo mas, em voz alta