De cavalerist Pahud de Mortanges had iets met paarden en paarden hadden iets met hem. Dieren die voor anderen niet te hanteren waren, aten bij hem uit de hand. Wat dat was, viel niet uit te leggen. Zelf zei hij er eens over: 'Ik kon een paard goed aanvoelen en zag zonder er op te zitten wat zijn eigenschappen waren. Dat kun je of dat kun je niet. Ik ben min of meer fatalist, het heeft nu eenmaal op mijn weg gelegen om goed te kunnen paardrijden'.

Met zijn fameuze, oersterke halfbloedruin Marcroix behaalde hij in de periode 1924-1932 vier gouden medailles in de military. Hij bleef er zeer bescheiden onder. Pahud was ook een moedig man. In de Tweede Wereldoorlog ontsnapte hij aan Duitse krijgsgevangenschap door uit een rijdende trein te springen. Na een wekenlange zwerftocht met vele ontberingen bereikte hij via Gibraltar Engeland. Met de Prinses Irene Brigade vocht hij zich in 1944 via Normandië een weg terug naar Nederland.

Voor de revalidatie van gewonde en verminkte militairen heeft Pahud zeer veel gedaan. Huize Kareol in Aerdenhout was er om befaamd. Als opvolger van de in de oorlogsjaren overleden Schimmelpenninck van der Oye werd Pahud in 1946 voorzitter van het Nederlandsch Olympisch Comité en lid van het IOC. In een land dat was leeggeroofd en verarmd kende de sport geen hoge prioriteit. Toch slaagden Pahud en zijn NOC erin een goede ploeg te sturen naar de Spelen van 1948 in Londen. In 1952 trad hij terug als NOC-voorzitter, maar op verzoek nam hij die functie van 1958 tot 1960 nogmaals op zich.

Pahud bracht het tot luitenant-generaal en eindigde zijn carrière als Chef van het Militaire Huis van de Koningin. In 1962 leidde hij als zodanig de uitvaart van prinses Wilhelmina. Door hevige reuma geplaagd bracht hij de laatste jaren van zijn leven door in een rolstoel. Zijn biograaf schreef later over hem: 'Hij was zachtmoedig jegens anderen, maar zeer hard voor zichzelf'.