У письмових джерелах вперше згадується в 1444 році як великокнязівський двір, дарований князем Казимиром надвірному литовському маршалку, новгородському намісникові Петрові Монтигердовичу.
Одна з версій походження назви — від татарського слова «Өyә, Eve» (гніздо, житло).
Тут здавна живуть білоруські татари; є мечеть, побудована в 1884 році на кошти, надані графинею Ельвірою Августівною Замойською, у її честь всередині мечеті встановлена меморіальна дошка. Впродовж всіх радянських років вона була єдиною в Білорусі мусульманською мечеттю, що діяла. Ів'є вважається за неофіційну татарську «столицю» Білорусі; у місті щорічно проводиться мусульманське свято, де збираються білоруські татари.
У центральній частині міста збереглися споруди кінця XIX — початку XX століть, Петропавлівський костел (1631 року) і двоповерховий монастир бернардинців фундований литовським підскарбієм Миколаєм Кішкою (XVII–XVIII століть).