Йозеф Франк родился 15 июля 1885 года в Бадене под Веной в еврейской семье текстильного торговца. Он учился архитектуре в Венском техническом университете, а в 1919–1925 годах преподавал в венской Школе прикладных искусств. Вместе с Оскаром Штрнадом он сформировал так называемую венскую архитектурную школу, у которой был свой взгляд на современный дом и интерьер.
В 1910-е Франк строил городские виллы в Вене вместе с Оскаром Влахом и Оскаром Штрнадом, а в 1920-е занимался муниципальным жильём. В 1927 году он оказался единственным австрийцем, получившим дом на выставочном посёлке Вайсенхоф в Штутгарте. Затем он стал инициатором и художественным руководителем Венского посёлка Веркбунда 1932 года, куда пригласил 31 архитектора. Главной его городской работой этих лет стала вилла Беер в Хитцинге (1929–1930), построенная вместе с Влахом.
В 1933 году из-за растущего антисемитизма Франк с женой Анной, шведкой по происхождению, уехал в Стокгольм. С 1934 года он работал на фирму Svenskt Tenn, основанную Эстрид Эрикссон, и стал определяющей фигурой её дизайна: известен прежде всего цветочными текстильными принтами, но проектировал также кресла, диваны и шкафы. После аншлюса 1938 года он лишился австрийского гражданства, а шведское получил в 1939-м. В начале 1940-х Франк жил в Нью-Йорке, затем вернулся в Швецию и остался там до смерти 8 января 1967 года.
Наследие Франка постоянно возвращается в музеи: выставки в Вене (1981, 2007, 2015–2016 в MAK) и в Лондонском музее моды и текстиля (2017). В 1965 году он получил Большую австрийскую государственную премию по архитектуре, а в 2010-м его день рождения отметил Google Doodle.