Эмиль-Жак Рульман родился в Париже в 1879 году в семье протестантов из Эльзаса. Отец держал фирму, которая красила, клеила обои и отделывала квартиры, так что ремесло будущий дизайнер усваивал рядом с маляром и обойщиком. Специального образования ему не дали: он учился сам и никогда не работал столяром-краснодеревщиком, но каждый предмет рисовал лично. В 1907 году отец умер, и Рульман принял семейное дело.
Первую мебель он сделал около 1910 года для себя и жены, затем стал показывать вещи в Осеннем салоне, а с 1913 года карьера пошла вверх. В 1919 году он вошёл в партнёрство с Пьером Лораном и купил здание на рю д'Уэссан, а в 1923-м открыл там собственную мастерскую. Работали два цеха: один делал традиционные вещи, другой современные, и каждая вещь получала клеймо с номером. В бюро на рю де Лиссабон, 27 в двадцатые трудились около двадцати пяти архитекторов и рисовальщиков, а предмет проходил путь от чертежа в масштабе 1:100 до чертежа в натуральную величину.
Славу ему принёс «Павильон коллекционера» на парижской выставке декоративных искусств 1925 года, построенный архитектором Пьером Пату. Над ним под руководством Рульмана работали около сорока мастеров, среди них скульпторы Бурдель и Помпон, кузнец Эдгар Брандт и художник Жан Дюпа. Именно в связи с этим проектом закрепился термин «ансамблист». Заказчиками становились банкиры Ротшильды и Вормсы, Эжен Шуллер из L'Oréal, авиаконструктор Габриэль Вуазен, писательница Колетт, а также Елисейский дворец и министерства.
Рульман знал о смертельной болезни с 1933 года, сам спроектировал собственное надгробие и распорядился распустить фирму после своей смерти. Бывшие сотрудники потом основали собственные студии. Сегодня его вещи хранятся в Метрополитен-музее, Бруклинском музее, Музее Виктории и Альберта и парижском Музее тридцатых годов, а выставка «Ruhlmann: Genius of Art Deco» в Метрополитен в 2004 году вернула ему имя мирового масштаба.