Галерея "Каштан" была построена по образцу дома, который раньше на этом месте и располагался. Первоначально дом №6 был известен как особняк Виноградова. Как предполагают краеведы, строил его саратовский архитектор Алексей Салько. Как показывают исторические фото, здание это выглядело несколько иначе, чем ныне стоящая на этом месте торговая галерея «Каштан». До постройки главпочтамта в нем располагалось почтово-телеграфное управление. А после постройки главпочтампта здание стало жилым домом. Вплоть до его реставрации, которая закончилась сносом и последующей реконструкцией. Особняк Виноградова снесли, а на его месте в 2003 году построили в несколько раз большую галерею "Каштан". Вышло очень похоже, хотя и не один в один. Особняк имел кровлю другой формы, другую расстекловку окна над балконом. Со стороны улицы Рахова располагался главный вход в дом с чугунным козырьком, который был утрачен в советские годы. На месте соседних зданий дальше по улице Вавилова (Михайловской) к 2008 году была завершена вторая очередь галереи – симметричное восточному западное крыло и центральная часть с куполом. Площади торгового центра сегодня занимают предприятия торговли, услуг и общественного питания. Здание галереи "Каштан" было построено директором фонда "Православие и современность", областным депутатом Сергеем Курихиным, компанией "Строй-Пекс".

Балконы и отделка фасада у первоначального здания и нынешней галереи «Каштан» совпадают лишь частично. Но то, что в документах называется домом XIX века — на самом деле здание 2003 года постройки, прежнее разрушилось, а новое должна была стать восстановленной копией, хотя сама галерея «Каштан» в итоге получилась значительно больше, чем стоявший на ее месте старинный дом. Согласно документу, памятником культуры считается 1/3 здания галереи «Каштан», которая расположена на Вавилова, 6. Фрагмент постройки, выходящий на угол улиц Вавилова и Рахова, официально именуется двухэтажным каменным жилым домом конца XIX века и включен в реестр объектов культурного наследия регионального значения.

Все эти строения должны были снести еще в 1960-е годы. По старому генплану города улица Вавилова должна была превратиться в пешеходный бульвар, зеленую зону – наподобие улиц Рахова или Астраханской с двухсторонним движением. Новый бульвар должен был стать логическим продолжением проспекта Кирова. Денег на перекройку улицы не хватило – снесли частные одноэтажные дома и облагородили улицу только на одной стороне. А на другой, где раньше располагался особняк Виноградова, а теперь «Каштан», образовалась своеобразная буферная зона. Новые дома здесь не строились. Оставались только ветхие постройки под снос.

Вплоть до 2000-х годов дома строились по красной линии, которая сохраняла место для будущего бульвара. По плану на территории бульвара должен был остаться только особняк Виноградова, признанный памятником архитектуры. Сносить запрещалось. В 2000 году его отдали на реставрацию. Реставрация закончилась... сносом здания. На его месте возвели новый особняк, который получился в несколько раз больше оригинала – это как раз галерея «Каштан». Именно с возведением этого здания галереи «Каштан» о проекте бульвара пришлось забыть. Затем построили «Ковчег». Не так давно был разработан еще один проект нового комплекса административных зданий, которые будут находиться между «Каштаном» и «Ковчегом». По этой архитектурной концепции уже и возведен офисный центр «Атлант».