По поводу истории появления этого дома у орловских краеведов есть несколько теорий. Одни считают, что каменное здание было построено в 1857 году по проекту Иосифа Францевича Тибо-Бриньоля для подпоручицы Якушкиной. Другие ссылаются на данные окладных книг, из которых следует, что та самая подпоручица «владела только деревянным флигелем и строениями». Прийти к единому мнению историкам не удается, так как из документов сохранились лишь схематичные чертежи тех построек.
Со временем участок, принадлежавший Якушкиной, а также соседний, поместье титулярного советника Надеждина, отошли Штернбергам. В чей конкретно дом заселилось семейство, сейчас уже выяснить невозможно. Первая запись о их владении двумя участками относится к 1890 году.
Штернберги приехали в Орел в 1861-м. Глава семьи Карл Андреевич был родом из Курляндии и служил купеческим приказчиком. В 1865 году у них с супругой Эммой-Софией родился сын Павел. Какое-то время семейство жило на Болховской улице.
Первое упоминание о появлении у Штернбергов своего дома на улице Нижне-Дворянской (прежнее название улицы Горького) относится к 1876 году. В документах указано, что здание было одноэтажным и каменным, классическим, с простыми, но изящными формами. Приобретенное строение требовало доработки, пристройку к нему сделали по проекту Тибо-Бриньоля.
Большая часть дома использовалась как жилая, а одно из помещений стало москательной лавкой (там продавались химические вещества, клей, краска и т.п.). После 1876 года в части здания находились музыкальные классы.
Пока Павел Штерн-берг постигал науки, в частности астрономию, дела его отца пошли на спад. Карл Андреевич был вынужден продать дом (сначала он отошел мещанину Акимову, через несколько лет купцу Шильде, а к 1901 году жене подполковника Розанова).
Несмотря на частую смену владельцев, здание практически не меняло своего облика. Таким он и достался последнему хозяину – дворянину Офросимову. Позже, с 1911-го по 1914 год, там проживала известная художница Антонина Федоровна Софронова.
После революции домом распоряжались городские власти. В 1922 году здесь располагался штаб 31-го и 32-го батальонов, а затем обосновался городской здравоохранительный отдел, а именно спецбольница. В 1951-м здание реконструировали, надстроили второй этаж, изменили планировку, фасад украсили декоративными элементами в стиле неоклассицизма.
Главный корпус сдали к 1957 году, через пару лет там открылся стационар с поликлиникой. С тех пор и вид, и назначение здания не менялись.
