Вскоре «Эрмитажный павильон» уже не мог вместить все коллекции, и архитектор Фельтен присоединил к нему в 1775 году новое трехэтажное здание. Нижний этаж этого здания со времен царствования Николая I служил залом заседаний Государственного Совета. В двух других этажах расположились картинная галерея, а также коллекции камей, медалей, драгоценных камней, эстампы, собрание минералов.
Галерея эта была воздвигнута по самому точному образцу (в размерах и украшениях) знаменитых лож Ватикана. Великолепные произведения были списаны на полотне в самом Риме.
Третье здание, воздвигнутое в 1788 году архитектором Кваренги, с двумя первыми соединено сводом, перекинутым через Зимнюю канавку, вытекающую из реки Мойки. В нем располагался Эрмитажный театр.
В 1772 году в семнадцати деревянных ящиках на судне «Ласточка» прибыл в Кронштадт драгоценный груз, который отправил из Франции знаменитый философ-просветитель Дени Дидро. Сам страстный любитель искусства, он закупил для русской императрицы картины из знаменитой коллекции Жозефа-Антуана Кроза и барона де Тьера. Так в Эрмитаже навечно поселились «Даная» и «Святое семейство» Рембрандта, «Мадонна с безбородым Иосифом» Рафаэля, «Юдифь» Джорджоне, портреты кисти Ван Дейка, «Даная» Тициана и другие картины.
В настоящее время Эрмитаж располагает одной из богатейших коллекций произведений Рембрандта, в которую входят 24 картины, почти все офорты и несколько рисунков великого художника. Они собраны в отдельном зале, который открывается небольшой картиной «Старик-воин», изображающей человека, которого принято считать отцом Рембрандта.
Продолжают коллекцию знаменитые «Флора» (портрет Саскии, жены художника, написанный в год женитьбы), «Даная», «Святое семейство», «Возвращение блудного сына», «Портрет старика в красном».
В отдельном зале собраны и произведения Пауля Рубенса. Среди них «Снятие с креста» — одно из ранних монументальных полотен мастера, «Пир у Симона фарисея», «Союз Земли и Воды». К периоду зрелого творчества относится «Портрет камеристки», среди поздних монументальных произведений — «Вакх».
По повелению Екатерины II была приобретена и библиотека Вольтера, вскоре после смерти философа. Она состояла из 6800 томов, в том числе в ней было 37 рукописей. Книги находились в прекрасном состоянии и в том самом виде, как ими пользовался философ в своем Фернейском замке. Стараниями верного Вагнера, секретаря Вольтера, все было сохранено в целости. Даже многочисленные бумажные закладки были в тех самых местах, где их оставил Вольтер.
Если Петр I старался привлечь в Кунсткамеру всякого посетителя, то Эрмитаж с самого начала был типичным музеем закрытого типа, совершенно недоступным для широкой публики. «„Эрмитаж“ — не публичный музей, а продолжение императорского дворца», — так охарактеризовал его в 1802 году граф Д. П. Бутурлин, один из первых директоров Эрмитажа. Сама Екатерина II в письме о приобретении коллекции резного камня писала: «Всем эти любуются только мыши и я».
Для публики Эрмитаж стал доступен только в 1852 году, когда Николай I торжественно открыл «Императорский Музеум» — первый в России художественный музей. Но хотя музейные коллекции и были выделены в отдельную музейную половину, Эрмитаж оставался продолжением царских апартаментов. В музейных залах, среди произведений искусства, часто устраивались различные увеселения и празднества, что было вредно картинам, требующим специальных условий хранения.
Кроме того, Николай I ввел специальные «оградительные правила». Печаталось очень ограниченное число билетов, «чтобы избежать большого числа посетителей». Должны были писать прошения на посещение Музея и студенты Училища живописи и ваяния. Выдающийся художник-передвижник В. Г. Перов в своих воспоминаниях приводит пример такого прошения директору Эрмитажа: «Имею надобность сделать копии с некоторых картин, находящихся во вверенном Вам втором отделении Императорского Эрмитажа, а потому покорнейше прошу Ваше превосходительство приказать выдать мне билет для входа и копирования». Сейчас уже, конечно, невозможно представить Эрмитаж «уединенным уголком», «жилищем отшельника».
К его бесценным сокровищам относится, например, коллекция древнего золота, зарождение которой относится еще к петровскому времени. В конце XVII века в приалтайских степях, между Иртышом и Обью, промышляли «бугровщики» — искатели ценностей в надмогильных курганах («буграх», как их тогда называли). Грабители расхищали богатые захоронения древних кочевников, в которых находились золотые украшения. Многое из найденного кладоискателями безвозвратно погибло, так как было переплавлено в слитки. Однако довольно значительную часть золотых изделий приобрел уральский заводчик Никита Демидов, и в 1715 году преподнес их в дар по случаю рождения сына Екатерине — супруге Петра I.