Був радником чехословацького заступника міністра закордонних справ, став секретарем і консулом в посольстві Чехословаччини в Хараре (Зімбабве) у 1992 році, пізніше — в посольстві Словаччини в Оттаві (Канада). З 1995 року працює в МЗС Словаччини з відносин з Європейським союзом і НАТО. У 1998 році він став начальником кабінету міністра закордонних справ, потім був призначений послом в Тель-Авіві (Ізраїль).
Стає постійним представником Словаччини в Європейському союзі в 2004 році. З 1 жовтня2009 року замінює Яна Фігеля як єврокомісар (від Словаччини) з освіти, навчання, культури та молоді. У другій Європейської комісіїБаррозу він займає посаду заступника голови ЄК і європейського комісару з питань інституціональних відносин та адміністрації. У жовтні — листопаді 2012 року тимчасово виконував обов'язки єврокомісара охорони здоров'я і споживчої політики.
Узяв участь у президентських виборах 2019 року, отримав 41,59 % голосів. Шефчовича в другому турі випередила жінка Зузана Чапутова отримавши 58,41 % голосів виборців.
Орден князя Ярослава Мудрого II ст. (Україна, 22 серпня 2020) — за вагомий особистий внесок у зміцнення міжнародного авторитету України, розвиток міждержавного співробітництва, плідну громадську діяльність[1].