Ապագա մեծ շանսոնյեն ծնվեց Փարիզի Սեն Ժերմեն դե Պրե թաղամասում, հայ գաղթականներ Միշա և Քնար Ազնավուրյանների ընտանիքում: Ազնավուրի հայրը, Միշա Ազնավուրյանը, ծնունդով Ջավախքի Ախալցխա քաղաքից էր, իսկ արմատներով՝ Արևմտյան Հայաստանի Էրզրումի նահանգից:

 

Մայրը՝ Քնար Բաղդասարյանը, Արևելյան Թուրքիայի Իզմիր (Զմյուռնիա) հայաշատ քաղաքից էր, հայոց մեծ եղեռնը վերապրածներից: Շառլի հայրը երիտասարդ տարիներին ապրել էր Թիֆլիսում, ուր աշխատանքի համար տեղափոխվել էր նրա ընտանիքը: Արդեն Ֆրանսիայում Միշա Ազնավուրյանը թառ էր նվագում և երգում էր տարբեր ռեստորաններում, մինչ կհիմներ իր սեփական կովկասյան ռեստորանը՝ կոչելով այն «Le Caucase» («Կովկաս»), ուր հիմնականում հավաքվում էին վտարանդիներ նախկին Ռուսական կայսրությունից։