К сретенскому монастырю к южным постройкам примыкают каменные палаты конца XVII века. Создателями и первыми хозяевами этого дома были "купцы и сибирских железных заводов содержатели" Ширяевы. Дом представительный в три этажа (третий этаж до XIX века был деревянным). По описанию 1760 года, в нем имелось 18 "покоев".
Планировка дома имеет анфиладный характер, это сильно отличает его от других посадских жилых зданий, и скорее напоминает дворцовое строение. Ефим и Сергей Ширяевы придерживались моды того времени, поэтому палаты этих "рыцарей торгового капитала" носили отпечаток новых вкусов. Несохранившаяся двухэтажная палата - столовая, выступала, как и крыльцо, несколько вперед. Крыльцо завершалось шатровой кровлей. Средняя часть здания, с узорной лентой наличников, придавала дому торжественный вид.
Этим домом Ширяевы владели до 1823 года, когда он был куплен мещанином Канонниковым. Но уже через несколько лет перешел купцу Шумилову, наследники которого владели им до 1917 года.