Pocházel ze skromných poměrů, narodil se jako třinácté dítě v rodině dělníka z královopolské cihelny v Brně. Spolu se svými četnými sourozenci hrál loutkové divadlo, v osmi letech se stal členem brněnského ochotnického spolku. V roce 1928 absolvoval studium na učitelském ústavu a odešel učit do Lomnice u Tišnova. Nicméně začal zde studia na dramatickém oddělení brněnské konzervatoře, kde studoval i jeho starší bratr Rudolf. Konzervatoř ukončil v roce 1932 a další rok studoval ještě estetiku na filosofické fakultě brněnské university. Po absolutoriu prezenční vojenské služby nemohl získat vhodné učitelské místo, namísto učitelování přijal v roce 1932 nabídku od brněnského Zemského divadla na stálé angažmá. Současně v divadle vykonával funkci dramaturga a vedoucího představení pro děti. Do pražského Národního divadla přišel v roce 1940 a působil zde až do roku 1977.
Po několika menších filmových rolích se poprvé objevil ve větší roli společně s Lídou Baarovou ve filmu Za tichých nocí. Za svůj život si zahrál mnoho vážných, tragických postav, několik významných mužů z české národní historie: Mikoláše Alše ve stejnojmenném filmu, Bedřicha Smetanu ve filmu Z mého života nebo postavu českého krále Václava IV. Lucemburského ze známé husitské trilogie), dále též fiktivní postavu Ing. Prokopa z filmu natočeného podle Čapkova románu Krakatit. V 60. letech se také etabloval jako úspěšný představitel soudobé filmové kriminalistiky coby kapitán Tůma – detektiv Sboru národní bezpečnosti po boku Josefa Beka. Jedna z jeho posledních filmových rolí byla role ve známém komediálním muzikálu Zdeňka Podskalského Noc na Karlštejně, kde si zahrál další historickou postavu, arcibiskupa Arnošta z Pardubic.
Rovněž v televizi vytvořil několik nezapomenutelných kreací, jako např. v seriálu Byl jednou jeden dům nebo ve vynikající inscenaci Romeo a Julie na konci listopadu, kde hrál společně s Danou Medřickou.
-
Romeo a Julie na konci listopadu zdroj: ČT -
Karel Höger ve filmu Krakatit zdroj: ČT
Kromě herectví se věnoval i pedagogické činnosti na pražské DAMU, od roku 1951 i na FAMU. Kurs herectví vedl i na brněnské JAMU. Od roku 1972 v divadle nedostával role hodné svého jména. V televizi začal pracovat na roli primáře Sovy v seriálu Nemocnice na kraji města. Události však nabraly tragický spád. Po nuceném podpisu anticharty začátkem roku 1977 podal Höger 2. května výpověď z Národního divadla na protest proti vyhazovu Vlasty Fabiánové. Třetího května dostal infarkt a o den později zemřel.
Byl dvakrát ženatý, jeho první manželkou byla herečka Zdenka Procházková. Zemřel bezdětný.
