Nelson nació el 4 de junio de 1932 en San Luis, Misuri, en un entorno altamente influenciado por la música: su hermano era saxofonista y había tocado con Cootie Williams en los años 40, y su hermana cantaba y tocaba el piano. Nelson empezó sus estudios de piano a la edad de seis años, y los de saxofón a los once años. Aún en edad escolar, tuvo su primer contrato como músico en la orquesta de Cootie Williams, donde su hermano también era saxofonista. Desde 1947, colaboró en diferentes bandas “de territorio” en San Luis, para, en 1950, pasar a formar parte durante un año de la big band de Louis Jordan, donde se encargaba de los arreglos y tocaba el saxofón alto.