Спортивний Клуб «Шарлеруа» був заснований в 1904 році. Через двадцять років після свого заснування команда здобула право грати в другому по силі дивізіоні Бельгії, а в 1929 році клуб змінив свою назву на Королівський Спортивний Клуб «Шарлеруа». В кінці 30-х та в 40-х роках ХХ століття популярнішим вважався інший клуб з Шарлеруа — «Олімпік», який грав на дивізіон вище. Це продовжувалося до тих пір, поки клуби не зустрілись в Першому дивізіоні Бельгії в 1947-му. У 1949 році Шарлеруа зайняв 4 місце у вищому дивізіоні, набравши на 2 очки менше, ніж льєзький«Стандард», тоді як «Олімпік» з Шарлеруа став 14-м. Але олімпійці знову повернули собі лідерство аж до 1955 року, коли вони вилетіли в другий дивізіон. За підсумками сезону 1956-57, «Олімпік» Шарлеруа був проведений в Перший дивізіон, натомість «Шарлеруа» посів останнє місце у вищому дивізіоні і, таким чином, опустився до другого дивізіону. Після 9 сезонів проведених в другому дивізіоні «Шарлеруа» повернувся на найвищий рівень в сезоні 1966-67. Сезон 1968-69 вони закінчили на другому місці, залишивши позаду «Стандард» (Льєж), але через два роки знову були понижені у класі.
У 1974 році кількість команд в Першому дивізіоні збільшується з 16 до 20, і «Шарлеруа» здобуває шанс знову грати на найвищому рівні. «Олімпік» теж повисився у класі, однак лише на один сезон. А «зебри» знову вилетіли в сезоні 1979-80, посівши передостаннє місце, але повернувся через п'ять років. Їх найкращий результат з тих пір в першому дивізіоні це — 4-е місце в 1993-94 рр.