Ліллегаммер розташований на південь від міста Ейер, на південний схід від міста Геусдал і на північ від міста Йовік (усі — муніципалітети в Оппланні). Через місто проходить шосе Е6.
На території міста люди селилися ще з залізної доби. У древніх сагах місто згадується як Літлікаупангр (невелике торговельне місце) або Літлігамарр (маленький Хамар — щоб розрізняти його від міста і єпархії Хамар). Воно також згадується як центр місцевого органа самоврядування в 1390. В 1800-х роках тут був жвавий ринок, і Ліллегаммер дістав права торговельного міста 7 серпня1827, на той момент у його границях було 50 зареєстрованих жителів.
В 1973 у Ліллегаммері ізраїльська розвідка Моссад провела операцію, помилково застреливши марокканського офіціанта, прийнявши його за учасника теракту на Мюнхенській олімпіаді, одного з лідерів терористичного угрупування "Чорний вересень" Хасана Алі Саламеха.
В 1994 у Ліллегаммері проводилися Зимові Олімпійські ігри. Місто є загальновизнаним центром зимових видів спорту.
У 2011 та 2013 роках в місті знімали комедійний телесеріал «Ліллегаммер» зі Стівеном Ван Зандтом у головній ролі [2].
Центр міста добре зберігся з кінця XIX століття, там зосереджені дерев'яні будови, з яких відкривається прекрасний вид на північну частину озера Мйоса (Mjøsa) і річку Логен (Lågen), оточену горами. На центральній вулиці знаходиться променад, магазини, кафе і ресторани. Недалеко від центру міста розташована Академія Нансена.