Frazier era il più anziano di nove figli di una
famiglia poverissima di Atlanta in Georgia in un’epoca in cui per gli
afroamericani il sud del paese non era proprio il luogo più piacevole in cui
vivere. Giocava alla Howard High School e diventò una stella, il miglior
giocatore della Georgia ma con pochissima visibilità perché confinato nelle
competizioni per soli ragazzi di colore nelle palestre ghettizzate di scuole
nere. Non venne neanche considerato dai college della zona, tipo Georgia Tech,
che anni dopo avrebbe attinto ripetutamente dalle strade di New York (Kenny
Anderson, Stephon Marbury), o Georgia.