Під час 42-річної військової кар'єри Герлі брав участь у операції «Солідарність» в Сомалі в 1993 році, командував 1-ю бригадою австралійської армії (1999—2000), був першим начальником Групи розвитку спроможностей (2003—2007) і керівником спільних операцій (2007—2008), обіймав посаду заступника начальника сил оборони (2008—2011). Його кар'єра завершилася призначенням на посаду начальника Збройних Сил 4 липня 2011 року, після відставки головного маршала авіації Ангуса Х'юстона. Герлі пішов у відставку з армії в червні 2014 року, а 2 жовтня 2014 року змінив на посаді губернатора Нового Південного Уельсу Марі Башир.