许冠文在许氏四兄弟(许冠文、许冠武、许冠英、许冠杰)中排行老大。自幼随父母移居香港。高中时代就读于喇沙书院,与李小龙是同级生。大学就读于香港中文大学联合书院社会学系,以出色的组织能力和表达能力任学生会会长和辩论队队长,并在大学二年级的时候,在新组建的香港电视台担任学生辩论节目的主持。大学毕业后,许冠文前往美国深造,回港后先后任职中学教师和广告策划师。
因为家穷,许冠文的童年时代过得艰苦,一家人落脚在没水没电供应的钻石山木屋区,他形容贫穷得“为两餐什么都肯”。他说道:“我没有humor(幽默感),由小至大也是如此,我好严肃,不明白其他人为什么认为我好笑。”
就读喇沙书院的许冠文,读中二时便去夜校兼职教英文。中学毕业后,许冠文念了一年师范,教了三年中学,储够钱再去念中文大学,大学时兼职做电视台及教夜校。