Jejími rodiči jsou operní zpěvačka irského původu Anne Patricia Hickey a letecký inženýr afro-venezuelského původu Alfred Roy Carey. Narodila se jako nejmladší ze tří dětí, má ještě sestru Alison a bratra Morgana. Své jméno získala podle písně They Call the Wind Mariah z broadwayského muzikálu Paint Your Wagon, který byl uveden v roce 1951.

Rodina se potýkala s rasovou nesnášenlivostí, neboť v 50. a 60. letech lidé smíšeným manželstvím příliš nepřáli. Kvůli neustálému společenskému tlaku, který byl na rodinu Careyových vyvíjen, se Mariahniny rodiče v jejích třech letech rozvedli. Carey dodnes vzpomíná, jak asi ve čtyřech letech často potají zalézala s rádiem pod peřinu a zpívala si. V hudbě našla svůj únik od problémů. Když matka odhalila pěvecký talent své dcery, začala ji ve zpívání usilovně podporovat. Mariah, která ve školních letech excelovala v literatuře, umění a hudbě, začala brzy psát básně a přidávat k nim chytlavé melodie.