Каменная церковь Михаила Архангела была построена в 1893-1895 годах на средства дворянки Пелагеи Артемьевны Бычковой. У северной стены храма, над местом упокоения святой Ульянии, была устроена гробница. В 1889 году её заменили на новую, кипарисовую с чеканными изображениями главных сюжетов из жизни святой.
В советский период истории России, в 1931 году, церковь была закрыта. Гробница праведницы передана в музей, а в 1989 году она была вновь возвращена Русской православной церкви (сейчас гробница находится в Николо-Набережном храме Мурома).