V patnácti Jimmy skončil školu a pokusil se začít hudbou zaobírat profesionálně. Po krátké spolupráci s textařem Roystonem Ellisem a zpěvákem Redem E. Lewisem ho pozval Neil Christian do skupiny The Crusaders. V průběhu spolupráce s Christianem měl Jimmy vážné zdravotní problémy, které mu neumožňovaly kontinuálně se zúčastňovat vystoupení.
Nesmrtelným se stal především díky svému působení v legendární britské skupině Led Zeppelin. Kapela, považovaná za průkopníky hardrocku, vznikla v roce 1968 a do svého rozpadu v roce 1980 vydala devět úspěšných a vysoce ceněných alb, přičemž Pageův přínos je neoddiskutovatelný. V polovině 90. let se držitel Řádu britského impéria znovu sešel s bývalým zpěvákem Led Zeppelin Robertem Plantem a v roce 1998 spolu v rámci turné The Guitar And Voice Of Led Zeppelin vystoupili i v Praze.
