У дорослому футболі дебютував 1978 року виступами за команду клубу «Моленбек», в якій провів шість сезонів, взявши участь у 104 матчах чемпіонату.
У 1984 році перейшов до клубу «Брюгге», за який відіграв 15 сезонів. Більшість часу, проведеного у складі «Брюгге», був основним гравцем команди. Завершив професійну кар'єру футболіста виступами за команду «Брюгге» у 1999 році.
У 1982 року дебютував в офіційних матчах у складі національної збірної Бельгії. Протягом кар'єри у національній команді, яка тривала 17 років, провів у формі головної команди країни 86 матчів, забивши 1 гол.
Згодом був клуб «Сінт-Трейден», команду якого Франкі ван дер Ельст очолював як головний тренер у 2011—2012 роках. 2014 року очолив тренерський штаб клубу «Руселаре».