关山父亲名关世栋，字少武。东北讲武堂毕业。解放前，曾任辽东师管区副司令。1933年，关世栋大夫人金氏生下关山。抗日战争爆发，关世栋把儿子托付给七弟，自己上了前线。抗战胜利后，关世栋把关山接走，不久，关山就读于中山大学。关世栋退役后，全家搬到香港。不久，关世栋去世，关山被迫担起供养家庭的责任，辍学后陆续做过矿工、码头工、海水浴场救生员，后入铁工厂任车床工作，供养弟弟上学。
1954年关山看了陶秦执导的《人鬼恋》后，兴起进入影圈的想法。同年投考“自由公司”演员落选。1956年考入长城公司演员训练班，经过一年受训，导演袁仰安发现关山外型惇厚，熟悉农村生活，认为他适合演阿Q的角色。1958年，关山凭《阿Q正传》荣获瑞士罗迦诺国际电影节最佳男主角（银帆奖），令他成为首位在国际影展中获奖的香港演员，时年25岁。
1961年，关山加盟邵氏电影公司，同年同著名影星林黛合演文艺巨片《不了情》，其他还有《红伶泪》、《烽火万里情》等，成为六十年代最红的国语电影男演员之一，以演文艺片最为出色。
七十年代起，关山以自由身在香港、台湾拍片，并于1972年创办关氏影业公司，制作《唐人客》等片，并自任导演。1979年，他曾