Усадьба семьи Смирновых была построена в 1870 году на пересечении улиц Дворянскоий (ныне Карла Маркса) и Ново-Троицкоий (ныне Льва Толстого) Николаем Петровичем Смирновым – дедом писателя Николая Павловича Смирнова. Отец писателя – Павел Николаевич в 1903 году был избран городским головой и пробыл им до самой революции. В год 300-летия дома Романовых он «за особые труды» был награжден Золотой шейной медалью на Александровской ленте. Семье Смирновых на Дворянской улице принадлежали еще три дома, сдававшиеся под дачи. В них останавливались живописец Алексей Михайлович Корин и фотограф Н.А. Давидович-Нащинский.
Большая и дружная семья Смирновых славилась своим гостеприимством. С дядями будущего писателя подружился во время своего приезда в Плёс Исаак Ильич Левитан. В последующем воспоминания об этом лягут в основу книги «Золотоий Плёс», рассказывающей о жизни И.И. Левитана и его спутников в Плёсе.
Уехав с родных берегов в столицу, Николай Павлович стал видным литературным деятелем, составителем альманаха «Охотничьи просторы», а впоследствии – главным редактором литературного журнала «Новый мир». Он объединял вокруг себя блестящую плеяду знаменитых писателей, дружил с Б. Пастернаком, В. Маяковским, Л. Гроссманом, М. Пришвиным, Д. Фурмановым, М. Шолоховым, К. Паустовским. Н.П. Смирнов – один из первых исследователей творчества И. Бунина, был тесно связан с кругом русского литературного зарубежья.
В 1934 году писатель был репрессирован, реабилитирован только в 1959 году. В 1924 году дом Смирновых был национализирован.