В 1810 году здесь был открыт первый в России городской общественный банк с официально утвержденным уставом. Банк открыт по инициативе слободского купца Ксенофонта Алексеевитча Анфилатова (1761-1820 гг.)
К.А. Анфилатов был известен и тем, что первым из российских купцов отправил корабли с торговыми целями в Североамериканские Соединенные Штаты (1806 г.), способствовал установлению консульских и дипломатических отношений (1808-1809 гг.) между Россией и США.
Устав Анфилатовского банка был опубликован в Своде законов Российской империи и стал примером для создания подобных институций более чем в 200 городах и сёлах России.
К 1917 г. в здании размещались: городская управа, Анфилатовский банк, Слободская публичная библиотека (открыта в 1875 г.), общедоступная мещанская библиотека (1910), ломбард, пожарная команда, мещанская управа.
Сохранились уникальные элементы старого интерьера:
- Чугунная лестница (изделие белохолуницких мастеров 2-й пол XIX в.)
- Сейфовая бронированная комната Анфилатовского банка.
Здание перспективно для открытия музея К.А. Анфилатова и первого в России городского общественного банка.