Mako nasceu em Kobe, Japão, filho do famoso autor de livros infantis e ilustrador Taro Yashima. Seus pais se mudaram para os Estados Unidos quando ele era criança. Ele se juntou a eles lá após a Segunda Guerra Mundial, em 1949, ingressando no exército na década de 1950. Ele se naturalizou cidadão americano em 1956. Quando Mako foi morar com seus pais nos Estados Unidos, ele estudou arquitetura. Durante o serviço militar, ele descobriu seu talento teatral e treinou no Pasadena Community Playhouse. Mako foi casado com a atriz Shizuko Hoshi, com quem teve duas filhas (ambas são atrizes) e três netos.
