黄嘉略出生于17世纪下叶一个天主教家庭。祖父黄江卿(音译:Hoang Kian Khin),曾任御史(Visiteur imperial巡视江南和山东两省,父亲1638年生于兴化,是家中独子,常接济穷人,其中一名曾受恩惠的人是天主教徒,为了报恩,于是引导黄氏信教,希望他的灵魂能进入天堂。1651年,黄父由葡萄牙耶稣会传教士何大化(Antoine de Gouvea)施洗,取名黄保罗(Paul Hoang),黄父此后非常虔诚,更曾希望过独生修士生活,致父母要胁报官,黄保罗只得于1670年迎娶江西省广信府杨氏,1679年誔下黄嘉略。
黄嘉略出生前,黄父曾誔下四名女儿,他们向上帝许愿,若能誔下男丁,会将献给上帝。黄嘉略出世后,由当地一名西班牙多明我会士施洗,约1686年前后,其父病逝,刚巧巴黎外方传教会教士李斐理(Philiber Le Blanc,又名卜于善)到兴化传教,黄母将儿子托附给他。三年后,李斐理又将黄嘉略托交另一位外方传教会教士梁弘仁(Artus de Lionne),期间曾拜一位信奉基督的举人江为标为师,习以汉语、拉丁文、中国典籍及基督教义,曾游历中国多个地方。据黄嘉略所述,16岁时,“出一些没有必要详述、但两位先生认为正当的原因”,他被安排回乡,不久母亲病逝,守孝百日之后,他又再离家。
黄嘉略在罗马停留了3年,此段时间偶然会誊写文书,常会到当地的San Clemente、San Andrea、San Giovanni in Laterano教堂弥撒,当然也会到圣伯多禄大教堂,曾在日记中记录多项见闻和当地人的故事,但他与同行的李若望当时均染有肺病,曾经吐血、病得不能执笔,由当地医生治病。
1713年4月25日,黄嘉略与巴黎女子玛丽(Marie-Claude Regnier)成婚,外父母为路易喜黎(Louis Regnier)及路易丝伐鲁(Louise de Vallois),小夫妇最初住在盖奈戈街(Rue Guénegaud),该条街道今天尚存。同年8月5日,梁弘仁亦在巴黎外方传教会总部病逝。1714年约1月,他们又搬到卡耐特街(Rue des Canettes)的一套公寓。