Заснований в 1886 році як селище Рубцово, проте роком заснування вважається 1892 рік, коли жителі отримали дозвіл на користування землею. Засновник — Михайло Рубцов, переселенець з Самарської губернії. В 1901 році Рубцовську було присвоєно статус селища, а в 1923 році Рубцовськ отримав статус повітового центру. В 1927 році поселення отримало статус міста.
За радянських часів в Рубцовську працювало багато промислових підприємств (машинобудівних, харчових, меблевих тощо). В даний час більшість машинобудівних підприємств простоюють або зовсім не працюють. Серед працюючих є «Хлібокомбінат», «Мельник», «Алтайвагон», «Рубцовський м'ясокомбінат».