Villa Armaksella on ollut yksitoista eri omistajaa. Ensimmäinen omistaja oli todennäköisesti suutari Nikolai Lundberg, sillä nimensä esiintyy vuodelta 1906 peräisin olevissa rakennuslupakuvissa. Kuvien mukaan talossa on ollut kaksi erillistä asuntoa. Sittemmin 1980-luvulla rakennusta on perusteellisesti ja pieteetillä remontoitu sekä laajennettu. Lahtelaiset Aila ja Ari Latto ihastuivat Loviisaan ja ostivat Villa Armaksen vuonna 2013. Pintaremonttien lisäksi he uusivat keittiön ja vessan.