На території міста люди селилися ще з залізної доби. У древніх сагах місто згадується як Літлікаупангр (невелике торговельне місце) або Літлігамарр (маленький Хамар — щоб розрізняти його від міста і єпархії Хамар). Воно також згадується як центр місцевого органа самоврядування в 1390. В 1800-х роках тут був жвавий ринок, і Ліллегаммер дістав права торговельного міста 7 серпня1827, на той момент у його границях було 50 зареєстрованих жителів.
В 1973 у Ліллегаммері ізраїльська розвідка Моссад провела операцію, помилково застреливши марокканського офіціанта, прийнявши його за учасника теракту на Мюнхенській олімпіаді, одного з лідерів терористичного угрупування «Чорний вересень» Хасана Алі Саламеха.
В 1994 у Ліллегаммері проводилися Зимові Олімпійські ігри. Місто є загальновизнаним центром зимових видів спорту.
У 2011 та 2013 роках в місті знімали комедійний телесеріал «Ліллегаммер» зі Стівеном Ван Зандтом у головній ролі[1].
Центр міста добре зберігся з кінця XIX століття, там зосереджені дерев'яні будови, з яких відкривається прекрасний вид на північну частину озера Мйоса і річку Логен[en], оточену горами. На центральній вулиці знаходиться променад, магазини, кафе і ресторани. Недалеко від центру міста розташована Академія Нансена.