История Солдатской синагоги началась в 1862 году, когда отставные солдаты-евреи образовали Солдатское еврейское молитвенное общество Ростова-на-Дону, которое с разрешения Екатеринославского губернского правления от 31 мая 1862 года получило возможность нанять для своего молитвенного дома помещение. По плану, утвержденному Екатеринославским губернским правлением 4 июня 1872 года, в том же году было выстроено каменное здание Солдатской хоральной синагоги. Средства на строительство синагоги предоставил богатый ростовский купец 1 гильдии Иосиф Маркович Елицер. Проект здания синагоги, вероятно, составил старший городовой архитектор Эрнст Эрнстович фон Шульман. Строил синагогу ростовский строительный подрядчик Моисей Леонтьевич Геронимус.

     Имеются сведения, что здание Солдатской синагоги сильно пострадало от пожара во время еврейских погромов в октябре 1905 года. Поэтому после сбора необходимых средств только в 1913 — начале 1914 года здание синагоги было восстановлено и реконструировано по проекту и под руководством петербургского художника-архитектора, профессора Императорского археологического института и секретаря общества архитекторов Якова Германовича Гевирца. Следует отметить, что Я. Г. Гевирц был не просто архитектором, а архитектором-художником, специализирующимся на проектировании синагог. В 1907 году он занял первое место на конкурсе проектов синагоги и богадельни для Преображенского еврейского кладбища в С.-Петербурге, а в 1909 году он получил первую премию за разработку проекта Харьковской синагоги. После окончания художественных работ богослужения в Солдатской хоральной синагоге возобновились 29 марта 1914 года на песах (пасху).

     Осенью 1935 года здание Солдатской синагоги было национализировано, и в нем была размещена химфабрика Горместпрома и подразделение радиозавода «Комсомолец». После освобождения Ростова-на-Дону в 1943 году фабрика в здании не была восстановлена, и его вновь заняла еврейская община, которая приложила очень большие усилия для ремонта здания. За оказание финансовой и иной помощи в ремонте синагоги ростовские евреи подвергались репрессиям (увольнениям с работы, выселению из города, арестам и др.). Разрешение на владение и пользование зданием Ростовский облисполком выдал лишь 14 апреля 1945 года после первоначального отказа 1 декабря 1944 года и поездки инициативной группы во главе с раввином (в 1944—1960 гг.) Шая-Меерои Зусмановичем Ароновичем и председателем общины В. Д. Липковичем в Москву.

     Эта синагога остается единственной действующей синагогой Ростова-на-Дону. Лишь 12 августа 1991 года Кировский районный суд признал факт владения Ростовской еврейской религиозной общиной частью здания. Малый совет Ростовского горисполкома 8 июля 1993 года решил возвратить в собственность Ростовской еврейской религиозной общине бывшее здание синагоги