1917年8月8日生，江苏徐州人。师范学校毕业后于小学任教，教了一学期书后因抗战而投身军职，并加入军中剧团，正式开始其演艺生涯。1940年，葛香亭进入上海著名的「金星训练班」，与欧阳莎菲、谢晋等人结为同学，一年后毕业，留在公司参与《白云塔》、《乱世风光》等片的演出，并兼任公司的化妆师。后因国共内战，家乡战事吃紧，便回到徐州加入县政府游击队，并组军中剧团，不久徐州沦陷，葛香亭因友人介绍进入装甲兵剧队，之后并随装甲兵渡海来台。
来台后不久转入国防部康乐总队，直到民国五十八年才退役。在康乐队期间，开始有人找他拍电影，由于演技老练、精湛，而以《养鸭人家》与《高山青》获得1965年第三届及1970年第八届金马奖最佳男主角奖。
之后加入中视成为基本演员，此后一面拍电影、一面演电视剧，另外也演一些话剧。直到现在，统计电影作品至少有一百七十六部以上。葛香亭除执着于演艺事业上，还致力于替同业争取最大的福利与良好的社会形象，他曾先后担任演艺人员「自律评议会」首任理事长及「中华民国演员工会」创始理事长。其热心公益，亦为人所乐道。
2000年中影网络电影《窃贼手记》拍摄，找来资深演员曾晴、葛香亭共同演出，试图以『交