Строительство дома Аполлонов начал в 1895 году и на его возведение денег не жалел. Василий Васильевич мог позволить себе такое роскошество – он был успешным торговцем, владел несколькими лавками. На первом этаже особняка разместился торговый зал – краеведы полагают, что это подражание знаменитому московскому гастроному Елисееву. Семья купца занимала второй этаж, выделявшийся ажурным балконом и изысканными сдвоенными арочными окнами в богатых лепных обрамлениях.
Особняк поразил воображение орловцев. В магазин хлынула толпа покупателей – не столько за продуктами, сколько чтобы рассмотреть богатое убранство здания. Высокие окна, колонны, богатая лепнина, зеркальные витрины – все выглядело роскошным и величественным.
«Содержимое» тоже было на уровне. «Аполлоновский» гастроном был самым дорогим в Орле. В просторных залах с зеркальными витринами и массивной лепниной помимо привычных товаров продавали «колониальные»: французские вина и коньяки, рыбу и морепродукты, экзотические фрукты и конфеты. Особым спросом у покупателей пользовался чай, который прозвали в честь самого купца «аполлоновским». Его привозили из Индии на специальных деревянных кораблях-парусниках, чтобы металл не испортил аромат сырья.
Однако особняк недолго радовал своего хозяина.
Революция 1917 года вынудила Василия Аполлонова покинуть Орел. Жилище купца было национализировано и отдано губернскому комитету большевиков – об этом свидетельствует мемориальная доска, установленная на доме.
С 1920 годов в здании размещались рабочие завода «Текмаш», затем, вплоть до войны, там располагался областной суд. Годы Великой Отечественной особняк Аполлонова пережил с незначительными потерями. После освобождения Орла в 1943 году дом был капитально отремонтирован и отдан детям: здание заняло железнодорожное училище №1, преобразованное спустя несколько лет в техническое училище №4 (сейчас техникум путей сообщения имени В.А. Лапочкина).
Со временем часть убранства особняка была бесследно утеряна. Но до наших дней в доме Аполлонова сохранились высокие двери, каменная парадная лестница и внутренние интерьеры с роскошной декоративной лепниной на стенах и потолках.