Вихованець футбольної школи белградського «Партизана», у складі «гробарів» дебютував в 1957 році, виступаючи на позиції захисника. У складі цього клубу чотири рази ставав чемпіоном Югославії, з командою дійшов до фіналу Кубка європейських чемпіонів 1965/66, в якому югославський клуб у впертій боротьбі поступився «Реалу».
У 1966 році комуністичний уряд Югославії дозволив Фахрудіну відправитися виступати в Західну Німеччину, і він підписав контракт з франкфуртським «Айнтрахтом». За 4 роки виступів він провів 111 матчів в рамках національного чемпіонату ФРН, але забив лише два голи. Юсуфі став одним з перших захисників, який підключався до атак команди. З 1970 по 1972 роки він виступав разом зі своїм співвітчизником Звезданом Чебинацем в команді Третьої ліги «Германія» з Вісбадена, перш ніж завершити свою ігрову кар'єру в 1972 році в австрійській команді «Дорнбірн».
У складі збірної Югославії Фахрудін Юсуфі дебютував у віці 20 років і виступав на Олімпійських іграх в Римі, першому чемпіонаті Європи у Франції та першості світу в Чилі. На Олімпіаді в італійській столиці Юсуфі став олімпійським чемпіоном разом з іншими учасниками, а на першості Європи став срібним призером. Всього ж він провів 55 матчів за збірну Югославії.
З квітня 1980 по травень 1981 року Юсуфі був головним тренером «Шальке 04», потім провів три роки як наставник команди «Ваттеншайд 09» і один сезон у клубі «Мюнхен 1860». Останнім місцем роботи Юсуфі була робота тренером белградського «Партизана». У 1989 році він тренував «Челіка».
Юсуфі не любив говорити про політику: в 1991 році він заявив, що югославські проблеми його не стосуються, оскільки він горанець за національністю і не може бути об'єктом переслідування на національному чи релігійному ґрунті[3].
Свого часу Юсуфі виступав у німецькому суді свідком на захист кримінального авторитета Любомира Магаша і навіть нібито готував для нього алібі[4].