Liefst zestien jaar diende Quarles van Ufford de schaatssport als bestuurder in allerlei functies, waarbij hij in de periode 1968-1975 en ook nog eens in de jaren 1980-1983 de voorzittershamer hanteerde. Daarnaast was hij ook een periode voorzitter van de de Nederlandsche Vereniging tot Bevordering van het Hardrijden op de Schaats (NVBHS) en heeft in die functie mede tot zeer belangrijke fusie tussen KNSB en NVBHS gezorgd.
Quarles van Ufford was daarnaast ook tweemaal chef de mission bij de Winterspelen in 1968 en 1972. In 1962 werd Herman Quarles van Ufford tot vicevoorzitter van de KNSB benoemd. Hij was in die tijd ook voorzitter van de NVBHS. In 1967 kwamen die twee partijen tot elkaar en werd met een ferme handdruk tussen KNSB-voorzitter Henk Wesselo en NVBHS-voorzitter Quarles van Ufford plannen bekrachtigd om te komen tot een fusie. Alle actieve hardrijders zouden voortaan onder KNSB-vlag vallen, terwijl de NVBHS per 2 september 1967 werd opgeheven.
Op 30 april 1968 droeg Henk Wesselo de voorzittershamer over aan zijn 'vriend' Herman Quarles van Ufford. Hij zou de schaatsbond liefst leiding geven, om vervolgens het stokje over te geven aan Herman van Laer. Eind 1980 keerde Quarles van Ufford echter terug op de voorzittersstoel. Omdat de ledenvergadering zich eind 1980 niet kon vinden in voorstellen tot structuurwijzigingen, besloten de bondsbestuursleden een dagelijks bestuur ad-interim te formeren, waarbij Quarles van Ufford werd gevraagd het voorzitterschap te bekleden.
Van Ufford is vervolgens tot december 1983 drie jaar opnieuw voorzitter geweest van de bond. Door zijn benoeming tot directeur van het Kabinet der Koningin kon hij dit voorzitterschap van de KNSB niet continueren en legde per 1 december 1983 de voorzittershamer neer.
Voor zijn bestuurlijke verdiensten voor de schaatsbond werd de scheidende voorzitter tijdens de algemene ledenvergadering op 10 december 1983 benoemd tot erevoorzitter van de KNSB.
