Народився 31 серпня 1948 року у місті Ганновер, Німеччина. Батько і мати його були музикантами, тому зацікавленості у музиці Рудольф набув ще у 5-річному віці. У 8 років Рудольф серйозно зацікавився грою на гітарі. Першим його інструментом була стара напівакустична гітара Hofner. Вже у віці 14 років Рудольф добре володів гітарою, і почав вчити брата Міхаеля.
У 17 років Рудольф створив свій перший власний гурт з метою виконання на концертах у школах каверівBeatles та своїх пісень. Назву до нього він ніяк не міг придумати, тому назвав просто Nameless. Згодом, коли музиканти досягли певних успіхів та підняли свій рівень, Рудольф під враженням популярного тоді фільму Attack Of The Scorpions вирішив назвати свій гурт Scorpions.