Dvakrát odmítl povinnou vojenskou službu a dvakrát se ocitl ve vězení. Karlu Brabcovi pomáhala těžké chvíle překonat víra
Karel Brabec šel v roce 1957 poprvé k volbám, za plentou ale volební lístek škrtnul. Všechny kandidáty neodmítl z politického, ale náboženského důvodu. Kvůli tomu ho vyloučili ze školy a poslali na vojnu, což coby svědek Jehovův odmítl rovněž. Za trest skončil ve vězení, kde mu v nejtěžších situacích pomáhala víra a myšlenky na jeho snoubenku, která na něj roky čekala.