Começou a fazer teatro em 1955, em Porto Alegre, onde ajudou a criar o Teatro de Equipe, juntamente com Paulo César Pereio, Lilian Lemmertz, Ítala Nandi e Fernando Peixoto, entre outros. Em 1954, atuou na sua primeira peça: O Muro, de Jean Paul Sartre/Lineu Dias. Entre inúmeros trabalhos no teatro, destacam-se: Os Fuzis da Senhora Carrar, de Brecht; A Mandrágora, de Maquiavel ; O Filho do Cão, de Gianfrancesco Guarnieri e no qual foi também diretor; e Tartufo de Molière. Dirigiu e atuou na montagem carioca de Arena conta Zumbi. Esteve durante algum tempo afastado dos palcos, tendo regressado em outubro de 2009, para participar em Um Navio no Espaço ou Ana Cristina Cesar. Em São Paulo, Paulo José formou, junto com Gianfrancesco Guarnieri, Augusto Boal, Juca de Oliveira, Paulo Cotrim e Flávio Império, o grupo que adquiriu o Teatro de Arena, criado por José Renato em 1962. No cinema estreou em 1965, com o O Padre e a Moça. Protagonizou várias comédias cariocas como Todas as Mulheres do Mundo e Edu, Coração de Ouro, dirigidos por Domingos de Oliveira, e O Homem Nu, todas essas contracenando com Leila Diniz. Também estrelou Como Vai, Vai Bem?, ao lado de Flavio Migliaccio, com quem depois formaria a dupla cômica Shazzan e Xerife que apareceria na década de 1970 em programas da TV Globo. Ainda na década de 1960, estrelou Macunaíma, ao lado de Grande Otelo e Dina Sfat. Foi diretor do programa Aplauso, da Globo, em 1979. Em 1992, foi-lhe diagnosticada a doença de Parkinson. Além de ser um dos mais ativos e talentosos atores brasileiros dos últimos 50 anos, com presença destacada no cinema, teatro e televisão, e de ter dirigido vários espetáculos de teatro, Paulo José é também diretor de televisão, com trabalhos marcantes como as minisséries: O Tempo e o Vento, de 1985; Agosto, de 1993; e Incidente em Antares, de 1994.