Сразу же после падения Порт-Артура со всех фортов, батарей и временных кладбищ были собраны останки погибших. Для японских солдат памятный мемориал возвели на Перепелиной горе, для захоронения русских солдат использовали прежнее русское кладбище у подножия горы Саперной. Пользуясь правом победителей, японцы в три раза уменьшили площадь русского кладбища и обнесли его новой оградой. Памятный мемориал в нем возвели по инициативе генерала Ошимы — губернатора Квантунской области. На кладбище устроили 12 братских могил: под белыми крестами расположились офицерские захоронения, под чугунными — солдатские. Всего в братских и отдельных могилах тогда захоронили 14 361 человека — русских защитников Порт-Артура. Центром мемориала стала православная часовня высотой 15 метров, возведенная из гранита и мрамора. На лицевом фасаде часовни была сделана надпись: «Здесь покоятся бренные останки доблестных героев, павших при защите крепости Порт-Артур. Памятник сей поставлен японским правительством в 1907 году».
Русское кладбище было торжественно открыто в июне 1908 года. На церемонию его открытия японское правительство пригласило российских представителей и приняло русскую делегацию с большим почетом. Депутацию возглавили контр-адмирал Матусевич (командир Владивостокского порта) и генерал-лейтенант Гернгросс (командир 1-го Армейского корпуса). Были приглашены также представители Заамурского военного округа во главе с генерал-лейтенантом Чичаговым. Со стороны японцев церемонию открытия мемориала возглавил генерал Ноги, герой взятия Порт-Артура, у которого во время штурма крепости погибли два сына-офицера. Во время церемонии японский генерал прослезился… Воинские почести павшим были отданы полком и флотским отрядом японских войск, над русскими могилами было приспущено японское боевое знамя.[78]
Позднее, в 1912 году, перед входом на Русское кладбище уже русские мастера установили восьмиметровый христианский крест из белого мрамора. На его лицевой стороне высекли слова: «Вечная память доблестным защитникам Порт-Артура, жизнь свою положившим за Веру, Царя и Отечество. Больше сея любви никто не имать, да кто душу свою положит за други своя».
В 1913 году японские водолазы обследовали на морском дне броненосец «Петропавловск», на котором в марте 1904 года погибли командующий русской эскадрой в Порт-Артуре адмирал С.О. Макаров и его друг, художник В.В. Верещагин. На броненосце были найдены останки погибших моряков, гробы с этими останками после отпевания в церкви в Дальнем японский почетный караул доставил в Порт-Артур, где их захоронили на Русском кладбище. От России на этой церемонии присутствовал воинский караул во главе с адмиралом Яковлевым.
Кроме мемориалов своим и русским солдатам, японцы возвели отдельные обелиски на горе Высокой, в форте № 2, на батареях «Орлиное гнездо» и «Литер Б». Обелиски эти представляют собой усеченные четырехгранные пирамиды высотой до 5 метров, сложенные из необтесанных гранитных глыб голубого цвета. Отдельный обелиск из цельной глыбы светло-серого гранита был установлен на развалинах офицерского каземата форта № 2, где погиб генерал Р.И. Кондратенко. Надписи на японском языке гласят, что они поставлены в «…воздаяние геройства павших».
В 1928 году исполнялось 20 лет со дня издания указа последнего русского императора Николая II об отправке на Дальний Восток особой комиссии для обустройства русских военных кладбищ в Маньчжурии. В этом году русский генерал Ханжин, проживавший в эмиграции в городе Дальнем, основал Попечительский совет по охране и приведению в порядок кладбища в Порт-Артуре. Все памятники и мемориалы начала XX века сохранились в городе и в его окрестностях до наших дней.
После Второй мировой войны район Порт-Артур — Дальний, в соответствии с договором от 14 августа 1945 года, стал использоваться СССР и Китаем как военно-морская база для предотвращения повторной агрессии со стороны Японии. В конце августа Красная армия вступила в Порт-Артур, и на Русском кладбище вновь появились свежие могилы. Первыми здесь были похоронены солдаты, погибшие при освобождении полуострова Ляодун. Всего же на Русском кладбище Порт-Артура за период 1945–1955 годов было захоронено 2030 советских граждан (из них — 140 военнослужащих и 630 их родственников). Кроме того, здесь похоронили 241 советского военнослужащего, погибших в небе Северной Кореи в войне 1950–1953 годов.