Aus der langen Tradition katholischer Jugendorganisationen entstand 1920 der KJMV. Es nahm die Spitzenstellung der katholischen Jugendbünde ein. Für 1918 wurden 350.000 Mitglieder angegeben, allein in Köln waren 1933 mehr als 20 Prozent der Jugendlichen in 560 einzelnen Vereinen erfasst. Ihre wichtigste Zeitschrift „Junge Front“, später „Michael“, erschien auf ihrem Höhepunkt 1934 in einer Auflage von 200.000.

In der zweiten Hälfte der 1920er Jahre wurde der Verband von einem Modernisierungstrend erfasst. In dessen Folge dominierten in der Außendarstellung anstelle des alten Vereinszeichens „Tapfer und Treu“ die Christusnadel, der Gruß „Tapfer und Treu“ wurde abgelöst von „Treu-Heil“. Das Mitteilungsblatt hieß fortan „Jungführer“.

Im Jahr 1933 kam es zu Auseinandersetzungen zwischen den Nationalsozialisten und dem KJMV. Am 1. Juli wurden in Preußen erstmals Geschäftsstellen geschlossen es kam zu Übergriffen. Die katholische Kirche reagierte ihrerseits entschlossen und untersagte Hitlerjugendeinheiten beispielsweise an Prozessionen teilzunehmen. Gleichwohl beschloss der KJMV, bei Aufmärschen die Hakenkreuzfahne und den „Deutschen Gruß“ zu zeigen.

Das Reichskonkordat vom 20. Juli sicherte den katholischen Organisationen ihre Selbstständigkeit einschließlich des Tragens der Vereinstracht, der Abzeichen und der Banner in der Öffentlichkeit zu. Insofern war zwar Schutz vor direkten staatlichen Übergriffen gegeben, Trotzdem hielten Auseinandersetzungen mit der Hitlerjugend auch danach an. Sie hatten oftmals den Charakter einer Nadelstichpolitik: Ankleben von Plakaten an Kirchen, Einwerfen von Kirchenfenstern, gewalttätige Provokationen. Allerdings musste ein Lagebericht des Sicherheitshauptamtesder SS im Mai 1934 zugeben, dass die gewaltsamen Aktionen gegen die katholischen Verbände dem Ansehen der Partei geschadet hätten.

Zwei Jahre später wurde jegliche öffentliche Betätigung außer zu unmittelbar kirchlich-religiösen Zwecken verboten. Viele Aktivitäten des KJMV wie Wandern oder sportlicher Betätigung waren damit weitgehend eingeschränkt. Eine weitere Zuspitzung resultierte aus Kontakten zum kommunistischen Jugendverband, die zu einer Großaktion gegen das Jugendhaus Düsseldorf, der Zentrale der katholischen Jugendarbeit, führt.

Das endgültige Ende des KJMV war das Verbot durch die Gestapo, das Februar 1939 in ganz Deutschland Geltung hatte. In der Erzdiözese Köln, wo der katholischen Jugendorganisation besondere Bedeutung zukam, wurde das Verbot schon ein Jahr vorher ausgesprochen.