Келер народився в сільській родині сьомою дитиною в селі Іваскі, тепер повіту Вільяндімаа. Незважаючи на бідність родини, Келер все-таки зміг відвідувати школу у Вільянді. Згодом відвідувати майстерню художників у Цесісі. 1846 року Келер переїхав до Санкт-Петербурга та займався оформленням вітрин та вивісок. З 1848 по 1855 рік вивчав малювання та живопис в Імперській академії мистецтв.
Протягом 1857 року багато подорожував, відвідав Францію, Німеччину, Нідерланди та Бельгію. 1858 року відвідав Мілан, Женеву, Флоренцію та Рим. Там він вчився у приватній академії та присвятив більш часу вивченню техніки акварелі. 1859 року в Римі він презентував свою роботу «Христос на хресті» .
1861 року Імперська академія мистецтв його викликала назад до Петербурга. З 1862 по 1874 рік працював вчителем князівни Марії Олександрівни, дочки імператора Олександра II. З 1869 по 1870 рік працював викладачем в Академії. У період з 1886 по 1889 роки Келер працював у Відні, Ніцца та Парижі.
Найкращий час кар'єри Келера збігся зі зростанням настроїв естонського національного відродження, тому він використовував свої зв'язки для просування справи. Був другом журналіста Карла Роберта Якобсона, одного з авторів ідеї Естонського самовизначення. З 1891 по 1893 рік був президентом Eesti Kirjameeste Selts, естонського інтелектуального співтовариства.
1976 року у Вільянді було встановлено пам'ятник Келеру. 2001 року Естонська пошта випустила поштову марку, присвячену 175-річчю з дня народження Келера.