Гиллель родился около 75 г. до Р.Х. в Вавилонии, в знатной семье, происходившей, по преданию, от царя Давида. Около 40 г. до Р.Х. он приехал в Иерусалим и поступил в школу известного законоучителя Шемайя, чтобы изучать письменные и устные законы иудаизма. Обладая независимым характером, Гиллель не пожелал прибегать к помощи богатой родни. Чтобы добыть деньги на учебу, он стал работать поденщиком и сторожем. Рассказывают, что однажды, в зимний вечер, Гиллель не был допущен на лекцию Шемайя, так как не имел денег, чтобы заплатить привратнику за вход в школу. Тогда он взобрался на стену школьного здания, приник к окну и в таком положении прослушал лекцию учителя. Углубившись в смысл читаемого, он не чувствовал холода и не замечал снега. Наконец Шемай заметил фигуру, заслонявшую свет в окне, велел пустить Гиллеля в дом и обогреть. Ему очень пришлось по душе такое рвение к учебе, и он сказал: «Ради этого человека стоило нарушить субботний покой».
Прошло немного времени, и Гиллель принял от старого рабби руководство школой. В то время руководителями синедриона были законоучителя из фамилии Бне-Батара, но они не долго занимали это почетное место, уступив их Гиллелю. Произошло это после одного достопамятного случая. В 30 г. до Р.Х. Пасха совпала с субботой, и между законоучителями возник спор: можно ли приготовлять праздничного агнца в этот день. Обратились к Гиллелю, и он рассудил так: поскольку жертвы, приносимые в храме, в субботу не отменяются, то тем более не следует отменять пасхальный обряд. Всех поразила простота аргумента, и Гиллель прослыл человеком, способным предлагать мудрые решения. Вскоре его выбрали главой академии и наси — председателем раввинского совета.
Величайшая заслуга Гиллеля в истории иудаизма состояла в том, что он первый постарался связать накопившиеся в устной традиции установления законоведов с писанными библейскими законами. Тем самым он обозначил путь, по которому пошли в дальнейшем составители Талмуда. Гиллель также устанавливал новые законы, выводя их из мыслей и выражений Танаха. Став главой академии, он занялся вопросами экзегезы и сформулировал основные миддот — правила для изъяснения Закона. Как, например, быть, если в Писании встречаются два противоположных утверждения? Эту сложную проблему Гиллель решил при помощи следующего силлогизма. Поскольку Тора содержит истину, а в то же время в ней попадаются два противоположных высказывания, значит, истинны они оба. Толкователь же должен в самом Писании отыскать текст, который снимает противоречие.
Говорили, что Гиллель был сведущ в самых разных отраслях знаний, что он «умел рассуждать о горах и долинах, о деревьях и травах, о диких и домашних животных», что ему были «одинаково доступны и светские и богословские науки». Однако главной наукой Гиллель считал умение жить по заповедям Торы. В памяти Израиля он остался человеком необычайного обаяния, благородства и кротости. Гиллель считал, что выдержка и доброта — главные достоинства служителя мудрости. «Люби мир и водворяй его повсюду, — говорил он, — люби созданных Богом людей и приближай их закон к Божию. Не суди ближнего, пока сам не побывал на его месте; там, где нет людей, — сам будь человеком». Основу благочестия Гиллель видел не в обрядах, а в нравственности. Одному иноверцу, который соглашался принять иудаизм, если рабби сможет изложить ему Закон в двух словах, он дал классический ответ: «Не делай ближнему того, что неприятно тебе — вот суть всей Торы, все же прочее лишь комментарий». Но он не был реформатором, пренебрегавшим традицией, и не имел намерения ломать обычаи, защищая авторитет предания. Когда один язычник, пожелавший принять иудаизм, усомнился в значении Устной Торы, Гиллель убедил его наглядным примером. Он начал учить новичка еврейскому языку, каждый день по-разному называя одни и те же буквы. «Как же я могу научиться?» — удивился тот. «А как же ты хочешь познать Писание без устной традиции?» — ответил Гиллель. Его терпение и выдержка были удивительными. Рассказывают, что один иудей побился об заклад, что сумеет вывести Гиллеля из себя — он явился к нему накануне праздника, вызвал из бани и завел пустячный разговор, ожидая, что учитель вспылит. Но сколько глупых вопросов ни задавал он Гиллелю, тот неизменно отвечал ему с терпением и благожелательностью, пока насмешник не понял, что проиграл пари.
Народ прозвал Гиллеля Закеном, то есть Старцем. Этот глава фарисеев никогда не кичился своими знаниями и почетным положением, он был внимателен к людям, прост в обращении и не чуждался безобидной шутки. Умер Гиллель ок. 10 г. в преклонном возрасте, окруженный любовью всего народа. Потомки его затем в течение многих поколений были иудейскими патриархами.