Шеффер народився в сім'ї, що мала безпосереднє відношення до живопису, тому майбутнє Арі було визначено наперед. Батько майбутнього митця був художником родом із Мангайму, матір — Корнелія Шеффер — також з успіхом займалася живописом. Завдяки батьківським урокам у Арі досить рано розкрився талант художника і уже в 15 років він написав портрет, що був прийнятий на амстердамську художню виставку. Крім того, з 11 років Шеффер відвідував Амстердамську художню академію. В 1808 році батько художника став придворним художником Людовіка І, але уже за рік помирає.
В 1811 році, у зв'язку із смертю батька, сім'я Шеффер переселилася до Парижу. В столиці Франції новим наставником Арі став П'єр Нарсис Герен, під керівництвом котрого талант хлопця почав розвиватися ще швидше. Уже з 1812 року його твори регулярно експонуються на Паризьких салонах, що проводяться Французькою академією мистецтв.