По участку, который сегодня занимает больница, в древности шли пути во Владимир и Коломну. Начиная с XV века там работали гончары, кузнецы, котельники и другие ремесленники.
История самого здания идёт с 1798 года, когда во владении богатейшего русского оружейника Ивана Баташева началось строительство дворца в духе русского классицизма. Сегодня это памятник федерального значения.