Усадьба Матвеевских — образец городской усадьбы, построенной по регулярной планировке конца XVIII – начала XIX века. Это первая постройка в городе в стиле строгого классицизма.
Род ярославских купцов Матвеевских берёт начало со второй половины XVIII века. Выходцы из крестьян, они разбогатели на винных подрядах, создали крупную торговую фирму, а в 1870-х годах получили звание потомственных почётных граждан.
С усадьбой связаны два интересных факта. Во-первых, в 1805-1807 годах здесь располагалось Демидовское училище высших наук. Во-вторых, в 1911-1913 годах в одной из квартир усадьбы проживала семья инженера Петра Орлова, чья дочь — знаменитая советская артистка Любовь Орлова.