Однопрестольная домовая церковь, освящённая во имя святого благоверного великого князя Александра Невского, была построена на станции Ртищево при церковно-приходской железнодорожной школе 13 октября 1889 года, в память чудесного избавления Августейшей семьи Государя Императора от опасности. Она составляла одно здание со школой и была деревянной, сверху обложенной кирпичом.
В 1910 году на средства Общества Рязано-Уральской железной дороги и меценатов был построен новый каменный храм, рассчитанный на 780 человек, который разместился напротив деревянной школы-церкви 23 ноября 1910 года состоялось освящение храма во имя святого благоверного князя Александра Невского. После революции храму в какой-то степени повезло. Он единственный из трёх не был разрушен, не превратился в зернохранилище, как большинство областных храмов. В 1924 году церковь по инициативе ртищевских комсомольцев была закрыта, с неё сняли кресты и купола, роспись закрасили, колокольню разрушили. Здание церкви было передано под рабочий клуб железнодорожников имени В. И. Ленина и библиотеку. В клубе работало 10 кружков и самодеятельный театр.
В декабре 1923 года с требованием закрыть церковь выступили ртищевские комсомольцы. В начале января 1924 года их требование было удовлетворено, церковь закрыли, а её здание Горсовет передал профсоюзным организациям железнодорожного транспорта под рабочий клуб имени В. И. Ленина и библиотеку. В клубе работало 10 кружков и самодеятельный театр. С постройкой в 1935 году в Ртищево Дворца культуры железнодорожников (ныне Городской культурный центр) клуб был закрыт. В 1935 году клуб в здании бывшей церкви был переоборудован под детский клуб. Однако детский клуб туда не попал - здание незаконно заняли отдел тяги и отдел движения станции Ртищево, доведя здание практически до полного разрушения.
В конце 1937 года, по решению Президиума Ртищевского райисполкома, бывшее здание церкви передали аэроклубу имени Героя Советского Союза М. В. Водопьянова и райсовету ОСОАВИАХИМа. Для своих занятий аэроклубовцы разместили в здании церкви учебный самолёт. В сентябре 1940 года здание было передано во временное пользование райкому и райисполкому под гараж, в марте 1941 года - под мастерские ртищевского райпромкомбината, затем под этапную комендатуру.
20 мая 1944 года распоряжением СНК СССР было утверждено разрешение Совета по делам Русской Православной Церкви при СНК СССР на открытие в городе Ртищево одной православной церкви. На основании этого документа 23 июня 1944 года Исполком ртищевского Горсовета принял решение о передаче бывшего церковного здания коллективу верующих. 30 июня был произведён осмотр и приёмка здания церкви, а также подписан типовой договор между коллективом верующих и Исполкомом ртищевского Горсовета о принятии его в бессрочное бесплатное пользование. 1 июля 1944 года в городе Ртищево вновь открылась православная церковь. Настоятелем церкви (иереем, или как записано в личном деле за 1946 год - «руководителем религиозной организации») с апреля 1944 года стал Иван Николаевич Варин, священником - Иван Петрович Кузнецов, протодьяконом (с апреля 1945 года) - Александр Васильевич Колчев. Несмотря на то, что по договору от 30 июня 1944 года верующим передавался весь комплекс построек на территории церкви, церковную сторожку до конца 1945 года занимал один из отделов Управления 2-го района строительства газопровода Саратов - Москва.
С 1955 по 1967 год настоятелем ртищевской церкви был протоиерей Савва Котляров, отец митрополита Санкт-Петербургского и Ладожского Владимира. Сам будущий глава Санкт-Петербургской митрополии, приезжая к отцу, служил в храме чтецом. В городе Ртищево похоронена мать митрополита.
Проект застройки города на 1958 год предполагал снос Александро-Невской церкви для строительства двух многоэтажных домов, но настоятелю храма удалось убедить приглашённых архитекторов и заведующего горкоммунотдела сохранить церковь. Они внесли коррективы в расчёты и сместили разбивку домов в сторону.
В начале 1990-х годов были восстановлены главы храма (заменены в 2003 году), а в конце 1990-х - колокольня.
В наши дни здание церкви признано памятником архитектуры и искусства. С 2003 по 2005 год проводился капитальный ремонт храма. 21 февраля 2006 года из Александро-Невской лавры Санкт-Петербурга в Александро-Невскую церковь была доставлена икона с частицей мощей святого благоверного великого князя Александра Невского, покровителя храма.
26 марта 2012 года, в соответствии с Резолюцией Патриарха Московского и всея Руси Кирилла, Александро-Невскому храму был присвоен статус соборного.