Сначала на кладбище существовала лишь небольшая деревянная часовня, но уже в 1776 году на ее месте на средства московских купцов-старообрядцев был сооружен храм во имя Николая Чудотворца. Старообрядцы никогда и ничего не жалели для благоукрашения своих храмов и потому часто добавляли в отливаемые колокола немало серебра. А по рассказам, некоторые колокола и вовсе отливались из чистого золота, потому таким звучным и был их перезвон. Между холодной и теплой часовнями был устроен выстланный кирпичами помост, называвшийся «поприщами часовенного пути».
В 1791 году старообрядцы Рогожской общины, руководимые Никитой Павловым, добились разрешения на строительство большого храма Община, в которую входили московские купцы Рахмановы, Солдатенковы, Оловянниковы и другие, была богатой и потому пригласила для возведения храма знаменитого архитектора М Ф. Казакова. Через два года огромный Покровский собор был готов, а 35-летие основания кладбища было отмечено возведением величественного храма во имя Рождества Пресвятой Богородицы.
Главными хозяевами Рогожского кладбища были поповцы, последователи поповщинского согласия. Их еще называли часовенниками, так как они не имели права открыто иметь свои церкви и потому собирались для молитвы в часовнях Рогожского кладбища и в других. Мужчины приходили на богослужения в длинных кафтанах с крючками на левой стороне, сборками вокруг талии и с прямыми рукавами Замужние женщины под платком должны были иметь еще и косынку, а под ней — повойник. Во время молитв все крестились двумя перстами, а творить крестное знамение следовало вперед поклона. В левой руке все должны были держать лестовку, похожую на четки, но отличающуюся от них своей плоской формой и искусно переплетенными, продолговатыми в ремнях бумажными валиками Валиков в лестовке должно быть 109: они соответствуют числу 9 чинов апостольских, числу лет земной жизни Иисуса Христа (33), числу недель пребывания младенца Иисуса во чреве Пресвятой Богородицы (38), числу апостолов (12) и числу пророческих книг (17).
С православной церковью старообрядцы общаться не хотели и отвергали даже отколовшихся от себя прежних единоверцев. Если часовенным порой и приходилось сталкиваться в часовнях с единоверцами, то они выжидали, пока те помолятся. Если же случалось молиться вместе, то часовенные считали своим долгом обязательно очиститься от этого невольного греха.
Сопровождая своих усопших к могилам, старообрядцы избирали не тот путь, который удобнее и короче, а тот, который дальше отстоял от единоверческой церкви, под сводами которой следовало бы проходить из часовни. И чего только они не делали, чтобы изжить на своем кладбище единоверие!
Император Александр I благоволил рогожским промышленникам и передал во владение общины большие земельные наделы, но вот царствование императора Николая I тяжело сказалось на старообрядцах обоего толка. С их молитвенных часовен были сняты кресты, запрещен всякий ремонт, а указом 1827 года император запретил принимать беглых попов, и вскоре в Рогожской общине на 100 000 верующих осталось всего три священника. Одно время даже запрещалось отмечать старообрядцев наградами и записывать их в купеческое сословие. В 1830-х годах некогда процветавшая Рогожская община была приравнена к простому богадельному дому.
В 1855 году новый император Александр II повелел опечатать алтари рогожских храмов, а вскоре правительство и церковь, чтобы ослабить влияние старообрядцев, открыли в Рогожской и Преображенской слободах единоверческие храмы. При сохранении внешних староверческих обрядов в храмах стали служить священники, подчинявшиеся епархиальному начальству. От таких притеснений сильно пострадала Федосеевская община Преображенского кладбища, рогожцам же в который уже раз удалось сохранить свои обычаи.
В августе 1854 года группа рогожских старообрядцев подала прошение на имя московского митрополита Филарета о принятии их в лоно апостольской церкви и о преобразовании Никольской часовни в единоверческий храм. По благословению Святейшего синода 23 сентября того же года было совершено освящение часовни. В 1866 году по инициативе и на средства купца Никандра Матвеевича Аласина к старой деревянной церкви архитектор Н В. Карнеев пристроил каменное здание наподобие колокольни высотой около трех и шириной около двух метров с иконой Спасителя, беседующего с самаритянкой.