Jako student se rozhodoval mezi zpěvem a herectvím. Absolvoval DAMU a poté působil v Městských divadlech pražských.Současně s herectvím se od konce 50.let věnoval populární hudbě a moderoval zábavné programy. Byl také swingař a jeden z prvních zpěváků českého rokenrolu. Mezi jeho první hity patří píseň Blues pro tebe od Jiřího Suchého.
Od konce 70. let se věnuje dechovce a lidovým písničkám .U příznivců dechové hudby jsou po léta oblíbené jeho pořady Sejdeme se na Vlachovce. Za svou kariéru nazpíval přes 200 písní a získal tři Zlaté a jednu Platinovou desku.

Josef Zíma se udržuje i přes svůj krásný věk stále ve formě.Dodnes vystupuje a jezdí na koncerty po celé České republice. Jeho celoživotním heslem je věta: Nerad se ohlížím dozadu.