Majoitustilojen puute Punkaharjulla 1890-luvulla johti Keisarinnan Huvilana tunnetun erillisrakennuksen rakentamiseen. Alun perin tämä arkkitehti Sebastian Gripenbergin suunnittelema rakennus oli nimeltään Villa Punkasyrjä. Tiettävästi keisarinna ei ole yöpynyt huvilassa, joten nykyisen nimen alkuperä on hämärän peitossa. Mahdollisesti rakentajat pitivät sitä niin hienona, että keisarinnakin olisi voinut siellä majoittua.
Toisen teorian mukaan Nikolai II puolisonsa Aleksandra Feodorovnan kanssa olivat suunnitelleet matkaa Punkaharjulle, jolloin keisarinna olisi majoitettu huvilaan.