XV–XVI a. šioje vietoje stovėjo trijų aukštų namas, priklausęs LDK didikams Astikams. Už sąmokslą prieš tėvynę ir pinigų padirbinėjimą paskutinysis iš jų, Grigas Astikas, 1580 m. birželio 18 d. buvo nukirsdintas netoliese, Rotušės aikštėje, o namas konfiskuotas. Greta stovėjęs pastatas nuo 1602 m. priklausė kanauninkui Ambraziejui Beinartui, jame įkurdintas bendrabutis, vadintas Ambraziejaus bursa (dabar – Didžioji g. 9). Pastatai smarkiai nukentėjo per 1654–1667 m. karą su Maskva. Juos nupirko LDK etmonas, Vilniaus vaivada Mykolas Kazimieras Pacas, pastatai atstatyti ir sujungti (rekonstrukcijos architektas Janas Zaoras, interjerų dekorą kūrė garsūs italų meistrai Giovannis Pietro Pertis ir Michelangelo Pallonis). Po rekonstrukcijos barokiniai rūmai tapo vienu puošniausių pastatų Vilniuje. Čia lankėsi įtakingiausi to meto žmonės: 1688 m. rūmuose buvo apsistojęs Lenkijos karalius ir Lietuvos didysis kunigaikštis Jonas Sobieskis, 1705 m. – Rusijos caras Petras I, 1812 m. rūmuose surengtuose pokyliuose dalyvavo Rusijos imperatorius Aleksandras I, kiek vėliau – Prancūzijos imperatorius Napoleonas. Paskutiniam Pacų giminės palikuoniui Liudvikui Mykolui Pacui rūmai atiteko 1797 m. Po 1831 m. sukilimo, kuriame jis aktyviai dalyvavo, L. M. Pacas emigravo į Prancūziją, rūmus perėmė valstybė. Po kelių rekonstrukcijų rūmai įgijo klasicizmo stilistikos bruožų, patalpos pritaikytos karinei administracijai. Įvairios įstaigos čia veikė iki 2010 m. Po kapitalinės rekonstrukcijos 2018 m. rūmuose atidarytas viešbutis „Pacai“.

LIUDVIKAS MYKOLAS PACAS (1778–1835)
Karo veikėjas, vienas paskutinių Lietuvos Didžiosios Kunigaikštystės didikų Pacų giminės atstovų. Mokėsi mokyklose Prancūzijoje ir Anglijoje, studijavo Vilniaus universitete. 1797 m. paveldėjo rūmus Didžiojoje gatvėje (dabar – Didžioji g. 7). Kovojo Prancūzijos imperatoriaus Napoleono Bonaparto kariuomenės daliniuose Ispanijoje (1808) ir Austrijoje (1809). Nuo 1812 m. Napoleono Bonaparto adjutantas, generolas, dalyvavo jo žygyje į Rusiją. Už karinius nuopelnus gavo Garbės legiono, Virtuti Militari, Šv. Stanislovo ir Bavarijos karo kryžiaus ordinus. Aktyviai dalyvavo 1830–1831 m. sukilime, rėmė sukilėlius finansiškai, buvo jų laikinosios vyriausybės narys. 1831 m. vadovavo rezerviniam korpusui, Ostrolenkos mūšyje sužeistas. Sukilimui pralaimėjus emigravo į Prancūziją, o jo rūmai Didžiojoje gatvėje buvo konfiskuoti carinės valdžios.

NAPOLEONAS BONAPARTAS (1769–1821)
Prancūzijos imperatorius, pirmosios Prancūzijos Respublikos (1792–1804 m.) revoliucinės armijos vedlys, generolas. Po 1799 m. Briumero perversmo užėmė valdžią, paskirtas Pirmuoju konsulu, 1802 m. – konsulu iki gyvos galvos. 1804 m. Senato paskelbtas Prancūzijos imperatoriumi. Jo karinės pergalės leido Prancūzijai aneksuoti dideles teritorijas ir valdyti beveik visą kontinentinę Europą, nuo Ispanijos iki Lenkijos. 1812 m. pradėjęs karinę kampaniją prieš Rusijos imperiją, lankėsi Pacų rūmuose Didžiojoje gatvėje (dabar – Didžioji g. 7). Po nesėkmingai susiklosčiusio žygio į Rusiją 1813 m. Prancūzijos imperijos kariuomenė patyrė lemtingą pralaimėjimą Leipcigo mūšyje, o 1814 m. Rusijos, Austrijos, Prūsijos ir Didžiosios Britanijos koalicijai užėmus Paryžių buvo privestas atsisakyti sosto ir ištremtas į Elbos salą. 1815 m. kovą pabėgo iš tremties, padedamas šalininkų trumpam susigrąžino valdžią, tačiau 1815 m. birželį buvo nugalėtas Vaterlo mūšyje, priverstas antrą kartą atsisakyti valdžios ir ištremtas į Šv. Elenos salą, kur 1821 m. mirė.