リスニングの教材を選ぶとき、

無理かな？

と思うくらいの教材を選ぶことをおすすめします。
なぜなら、

いずれは普通スピードの会話を聴かなければならない
スロースピードの英語に実生活で出くわすことがない

つまり、現実社会で英語を使おうというのであれば、ゆっくり聴いてもあまり意味がないということになります。

また、ある程度のスピードがないと、言葉が耳に入りにくいのです。

例えば、素晴らしいヴァイオリンの演奏も、スロースピードで演奏されると、別の音楽に聞こえます。一瞬、何の音楽か分かりません。

言葉も同じで、ある程度のスピードがあってこそ、理解があるのです。

だんだん早くしていこう

というより、少し無理かなと思っても、ちょっと欲張った選択をして、選んだ教材は徹底的にやり切るようにしてくださいね。