Стараниями Ленина и Плеханова к 1903 г. был подготовлен II съезд РСДРП.
Он начался 30 июля в Брюсселе, а потом продолжался в Лондоне. Роль Плеханова на нем была чрезвычайно велика: он открыл съезд своей вступительной речью, он был избран в бюро, он председательствовал на многих заседаниях и неоднократно выступал с речами. В немалой степени благодаря его поддержке Ленину удалось провести многие положения своей программы, причем Плеханов жестко разошелся не только с Мартовым, но и с прежними своими соратниками. В остром споре, возникшем по поводу формулировки первого параграфа устава, он был на стороне Ленина, в то время как другие члены группы «Освобождение труда» — Аксельрод и Засулич голосовали за формулировку Мартова. Когда же съезд перешел к выборам редакторов «Искры» и Центрального комитета, между Плехановом и Засулич произошла настоящая ссора (решением съезда Засулич, Аксельрода и Потресова вывели из состава редакции, оставив в последней только Ленина, Мартова и Плеханова).
Нет сомнений — разрыв со старыми друзьями, с которыми он был связан единым делом в течение 20 лет, дался Плеханову тяжело. (Съезд был знаменателен еще и тем, что группа «Освобождение труда» объявила о своем роспуске и растворении в общей партийной организации.) По окончании съезда Плеханов в течение нескольких месяцев оставался в согласии с Лениным. Между тем сторонники Мартова (получившие в дальнейшем наименование меньшевиков) требовали восстановления редакции в прежнем составе, а также увеличения мест в ЦК и Совете партии (на которые Ленину удалось провести своих сторонников). Попытку преодолеть противоречия предприняли в конце октября на съезде «Заграничной лиги русской революционной социал-демократии», но съезд завершился окончательным разрывом — большевики (сторонники Ленина) покинули его, так и не договорившись с меньшевиками. Плеханов ушел вместе с Лениным, но после ночи тягостных раздумий заявил ему: «Надо мириться. На вчерашнем заседании я убедился, что если мы не кооптируем прежних редакторов, то партия так и будет разорвана на две половины». На все уговоры большевиков он отвечал:
«Не могу я стрелять по своим. Это надо сделать ради мира в партии». Ленин, однако, не согласился и в тот же день вышел из редакции «Искры». Плеханов начал переговоры с меньшевиками и единолично ввел в состав редколлегии Аксельрода, Засулич и Потресова. Они выпустили следующий номер газеты, в котором Плеханов поместил статью «Чего не делать», направленную против работы Ленина «Что делать?» и той жесткой «раскольничьей» позиции, которую тот занимал на съезде.
Несмотря на сильные противоречия, которые изначально существовали между Плехановым и меньшевиками, он постепенно переходил на их позиции. Размежевание между тем делалось все более полным. Меньшевики создали свое бюро и овладели редакцией «Искры». Большевики основали свой орган — газету «Вперед». В 1905 г. большевики провели свой III съезд в Лондоне. Меньшевики собрали партийную конференцию в Женеве, на которой пересмотрели в выгодном им духе все решения II съезда. В мае Плеханов все-таки вышел из редакции «Искры» и стал выпускать собственный журнал «Дневник социал-демократа». Весной 1906 г. он отправился в Стокгольм на IV Объединительный съезд партии, на котором меньшевики и большевики опять собрались вместе (Россия была охвачена революцией и обстановка требовала единства действий). Как и три года назад, Плеханов вместе с Лениным был избран в бюро и председательствовал на нескольких заседаниях. Но на этот раз их позиции были противоположными. То же повторилось в 1907 г. в Лондоне на V съезде.
В дальнейшем по состоянию здоровья Плеханов фактически отошел от практической партийной работы, но он по-прежнему много писал и печатался, в том числе в легальных русских журналах и газетах. В 1908 г. вышла его книга «Основные вопросы марксизма», переведенная потом на многие языки и до сих пор остающаяся одним из лучших популярных изложений марксистской теории. Он пишет серию статей «Воинствующий материализм», направленную против русских махистов, большую статью «О так называемых религиозных исканиях в России» — против богоискателей. В том же 1908 г. Плеханов начал капитальный труд «История русской общественной мысли». (В следующие восемь лет вышли три его первых тома.) Отношения Плеханова с меньшевиками не были безоблачными. Он резко выступил против ликвидаторства, которому в послереволюционные годы отдали дань многие меньшевики (ликвидаторами называли тех деятелей партии, которые призывали всецело отказаться от нелегальной борьбы, распустить партию и сосредоточить все усилия на легальной, думской деятельности). В этом течении Плеханов слишком явно увидел черты ненавистного ему бернштейнианства, и все попытки товарищей-меньшевиков смягчить его позицию остались безуспешны. Расставшись на время с ними и оказавшись в одиночестве, он писал жене: «Не судьба нам идти с меньшевиками. Я осужден на полное одиночество. Я не пугаюсь этой судьбы, но все-таки мне тяжело…»