Nacido en Oakland, una de las plantaciones de la familia Nelson, en el pueblo de Beaverdam en el condado de Hanover, Virginia, hijo de John Page y Elizabeth Burwell Nelson. Fue descendiente de las prominentes familias de Nelson y Page, cada una de las Primeras Familias de Virginia. Aunque era de un linaje que alguna vez fue rico, después de la Guerra Civil Americana, que comenzó cuando tenía solo 8 años, sus padres y sus familiares se empobrecieron en gran medida durante la Reconstrucción y sus años de adolescencia. En 1869, ingresó al Washington College, conocido ahora como Washington and Lee University, en Lexington, Virginia, cuando Robert E. Lee era presidente de la universidad. Después de tres años, Page dejó el Washington College antes de graduarse por razones financieras. Para ganar dinero para el título de abogado que deseaba, Page enseñó a los hijos de sus primos en Kentucky. De 1873 a 1874, se matriculó en la facultad de derecho de la Universidad de Virginia en busca de una carrera legal. En Washington College y posteriormente en UVA, Nelson fue miembro de la prestigiosa fraternidad Delta Psi, también conocida como St. Anthony Hall.
