Hij groeide op in Zuid-Afrika
Charles Spencer is geen onbesproken figuur, zowel wat zijn eigen turbulente liefdesleven betreft als de manier waarop hij de koninklijke familie bekritiseerde tijdens de huwelijksperikelen van zijn zus Diana. Om te ontsnappen aan de bijhorende mediastorm, verpatste hij met zijn hele familie naar Kaapstad in 1995, om twee jaar later na de dood van zijn beroemde zus terug naar zijn thuisland te keren. Zijn inmiddels ex-vrouw Victoria en de kinderen bleven evenwel achter, en zo genoten Louis en zijn zussen een erg zonnige jeugd in Afrika. Het is pas voor zijn hogere studies dat Louis terug richting Groot-Brittannië keerde en zich inschreef aan de Schotse universiteit van Edinburgh.