Главной достопримечательностью Лысых Гор является заброшенная церковь в бывшей Старой Бахметьевке, построенная и освящённая в 1797 году тщанием помещика Николая Ивановича Бахметева и являющаяся одной из старейших в области. Старую Бахметьевку вы не найдете на картах, такого села сейчас не существует. С течением времени оно слилось с поселком Лысые Горы. Однако церковь, пусть уже и не в первозданном виде, все же стоит на месте владений саратовского помещика и композитора Бахметьева.
Каменный храм в прошлом имел колокольню, главный престол во имя Рождества Иоанна Предтечи и придел во имя Николая Чудотворца. К его приходу была в числе прочих деревень приписана Графщина. Священник проживал в общественном доме, псаломщик – в церковно-общественном. В советские годы церковь закрыли и разместили в ней сначала контору МТС, а затем зернохранилище колхоза "Родина". Сегодня утратившая колокольню и всё внутреннее убранство церковь пустует и постепенно разрушается, о её возрождении, особенно в свете строительства в посёлке нового храма, речи не идёт.
Бахметевы – старинный дворянский род, известный с XVI века. Были среди них воеводы, стольники и даже комендант Петропавловской крепости Я.Х.Бахмиотов, соратник Петра I. Композитор Николай Иванович Бахметев (1807-1891) родился в Пензе, куда его мать Александра Сергеевна приехала погостить у своей матери, Ольги Михайловны Мачевариановой. После временного пребывания их перевезли в родовое имение отца Ивана Николаевича, село Старую Бахметьевку, где он с сестрами: Александрою, Мариею, Анною, Евдокиею и Екатериною провели детские годы, имея для воспитания множество гувернеров: французов, немцев, швейцарцев.
Дальнейшее образование получил в Пажеском корпусе, после окончания которого, в 1826 г. был зачислен в гвардейскую кавалерию. Участвовал в турецкой кампании 1828 г., после ратификации Адрианопольского договора в 1829 г. состоял при князе А. Ф. Орлове. Именно здесь Бахметев организовал свой первый оркестр. В военной службе Бахметев оставался до 1842 года. После смерти отца ему досталась Старая Бахметьевка Аткарского уезда, небольшая часть в селе Лысые Горы. Огромная усадьба, состоящая из 14 разных строений, конный завод, дворовые 180 душ – музыканты, актеры, певчие, мастеровые, кучера, конюхи. Большой двухэтажный дом, отделанный в готическом стиле, с тремя башнями, три флигели для гостей.
Выйдя в отставку в чине полковника и женившись в Петербурге в 1842 году на Елизавете Сергеевне Муравьевой, он поселился в своем имении в селе Старая Бахметьевка Саратовской губернии, где организовал хор из своих крепостных и оркестр, устраивал музыкальные вечера. Здесь он свободнее мог заняться музыкой, и вместо маленького бального оркестра, составил полный оркестр, где все духовые инструменты, даже гобои, фаготы, валторны и тромбоны были удвоены, что редко было видно в провинциальных оркестрах. В числе 28 человек были и крепостные, и наемные, и ученики-любители. В капельмейстеры он пригласил известного в Петербурге Гильмана, имевшего большой оркестр, игравшего в загородных увеселительных заведениях. Исполнялись такие классики как Моцарт, Бетховен, Гайдн, Мендельсон и другие. Таким образом, летом оркестр играл в саду, где устроена была эстрада, и где звуки его переливались с пением соловья, а в ненастную погоду и зимой ежедневно с 7 часов, оркестр или квартет, или певчие, играли в зале большого дома.
По одним сведениям, Иоанно-Предтеченскую церковь в селе Бахметьевка построили в 1797 году. В других источниках указывается 1765 год:
"В новопоселенной деревне Бахметьевке в 1765 году открылась деревянная церковь с приходом в с. Лысые Горы при 40 дворах."
Местные жители рассказывают, что рядом со строением когда-то был пруд. Поблизости от него стояли дома, от каждого из которых к водоему спускались мостки. Хозяйки набирали из пруда воду и стирали здесь же белье. Сама церковь в то время была огорожена забором, на каждом столбе которого возвышался стеклянный шар. Некоторые старожилы говорят, что украшения были разноцветные, но точного описания ограды до наших дней не сохранилось. В саду при храме росли акации и сирень, пройдя через него по аллейке, можно было попасть в барский дом Бахметьевых. Их склеп как раз находился при этой церкви. Но найти его сейчас представляется довольно трудной задачей, поскольку в 30-е годы его засыпали, а само здание сделали зернохранилищем. Здание не раз перестраивалось, о чем свидетельствует отпечатки крыши на стенах здания под разным углом. Стены выложены разным по размеру камнем. А от креста, который когда то располагался на куполе, остался только штырь-основание. Но самое примечательное в этой церкви то, что кое-где на стенах угадывается старая фреска. Разглядеть что-то очень сложно, но выглядит это потрясающе.
Существует легенда, что в подвале этой церкви зарыт клад. Откуда он там появился, предание умалчивает. Но в начале ХХ века мальчишки, играя возле этого строения, нашли вход в подвал, который был завален строительным мусором и грунтом. Если сильно топнуть ногой по полу в церкви – услышишь глухой отклик. О существовании подпола говорило и наличие замурованных окон, которые располагались на уровне земли. Обращены они были в сторону села. Но других признаков подвального помещения там не было. Играя неподалеку от церкви, ребята нашли клад – серебряные монеты. Возможно, где-то и сейчас все еще лежат в земле серебреники, ожидающие новых хозяев.