В историческом центре города располагался тюремный замок. Это был целый комплекс с полицейским управлением, самой тюрьмой (здесь теперь жилые дома) и тюремной церковью (Храм Александра Невского). Заключенные имели свой вход в церковь, отдельный от прихожан. Также происходило благоустройство самой тюрьмы: построена была больница, баня, и мастерские для трудового воспитания осужденных.