Со временем в доме Амербаха в Рейнском переулке составилась коллекция из 110 графических работ. В их числе были гравюры У. Графа и даже А. Дюрера, с которым Амербах был знаком и даже дружен. С этой небольшой коллекции и началось создание. Кабинета Амербаха, который потом и лег в основу Базельского художественного музея.
Наиболее значительные приобретения сделал для Кабинета внук И. Амербаха — Базилиус Амербах, который коллекционирование превратил в дело всей своей жизни. Он был в Базеле известным юристом, обслуживал богатых клиентов, поэтому для покупки произведений искусства всегда имел солидные средства. Нередко он приобретал целые наследства, которые выставлялись на торги. Помимо произведений искусства, в таких наследствах часто находились коллекции медалей, манускрипты, книги и природные диковинки. Покупая картины, Базилиус Амербах старался отыскать для своего собрания и эскизы к ним, поэтому в Кабинете Амербахов сохранилось и большое количество рисунков. Все свои сокровища Б. Амербах разместил в сводчатом зале, который пристроил к семейному дому.
В Кабинете Амербахов главное место отводилось работам семейства Гольбейнов. Даже на фасаде их дома были росписи Ганса Гольбейна Младшего. Когда Ганс Гольбейн и его брат переехали в Базель, они познакомились с трудами Эразма Роттердамского, в частности, с его «Похвалой глупости». На полях этой книги братья сделали 80 рисунков, которые очень понравились самому автору. Десять дней Э. Роттердамский забавлялся, рассматривая их. Впоследствии эта книга всегда стала издаваться с рисунками братьев Гольбейнов.
В Базельском художественном музее находится и самое известное полотно Ганса Гольбейна Младшего «Мертвый Христос в гробу». Ученые до сих пор не пришли к единому мнению о том, действительно ли эта картина — только одна из сохранившихся частей утраченного алтаря. И если это так, то каким тогда был его первоначальный вид?
Существует легенда, что моделью Гольбейну послужил неизвестный, утонувший в Рейне. Картина поражает зрителя, прежде всего тем, что связанный с Христом евангельский сюжет художник низводит до скрупулезной анатомии мертвого тела. Некоторые исследователи видят в этом факте некоторое безбожие самого Гольбейна.
Картина «Мертвый Христос в гробу» нашла отражение и в русской литературе. Ф. М. Достоевский, видевший эту картину в Базеле в 1897 году, дважды обращается к ней в своем романе «Идиот».
После смерти Базилиуса Амербаха богатейшая коллекция в течение 71 года находилась в руках его наследников, так как по завещанию передавалась одному лицу. Но в 1648 году эта традиция была нарушена человеком, который сменил фамильную профессию ученого правоведа на ремесло купца. В своем завещании он распорядился продать Кабинет Амербахов, а вырученную сумму поровну разделить между всеми своими детьми. Уже один из амстердамских купцов предложил за коллекцию огромную сумму, и наступил момент, когда сокровища Кабинета Амербахов могли навсегда покинуть Базель.
Тогда среди широких слоев городского населения родилась мысль купить Кабинет Амербахов для Базельского университета. Это предложение горячо поддержал и бургомистр города Иоганн Рудольф Ветштейн — человек широких и самых разносторонних интересов. В 1662 году Кабинет был куплен городскими властями для университета. Став достоянием города, частная коллекция почти сразу же стала публичной, и уже это само по себе было для XVII века явлением редким. Правда, некоторые общества того времени тоже владели художественными коллекциями, но эти публичные собрания до нашего времени не сохранились.
В 1671 году из особняка Амербахов коллекцию перенесли в старинный дом под названием «У Комара». Каждый четверг во второй половине дня городской музей открывал свои двери для публики. Ученые люди и иностранцы по предварительной просьбе могли посмотреть коллекцию и в другие дни недели. Все посетители записывали свои отзывы, в «Золотой книге» музея, который тогда назывался Университетским собранием.
В XVIII веке пополнение Университетского собрания происходило за счет поступлений от Базельского городского совета. Так, в 1741 году городские власти перенесли из ратуши в музей картину Яна вана Скорела «Портрет Давида Йориса», в 1770 году музей обогатился полотном Ганса Гольбейна Младшего «Алтарь страстей». «Портрет Мартина Лютера и его жены Катарины фон Бор» (кисти Кранаха) — это единственный дар горожан Базеля.