Marito di una cugina della sovrana, Colman è stato a lungo al servizio della monarchia, in qualità di Lord Luogotenente del Norfolk. Strettissimo il rapporto con Elisabetta II,