Figlio di un carpentiere proveniente dalle Barbados, la madre morì di cancro quando era ancora piccolo, e poco dopo fu la volta proprio del padre, colto da infarto quando ancora il piccolo Walter non aveva compiuto il decimo anno di età.
Fu così affidato insieme al fratello Edward ad un orfanotrofio, dove crebbe grazie alla generosità dei volontari dell’organizzazione oggi nota come “Action for Children”.
Mentre Edward, adottato da una famiglia di Glasgow, diventava dopo la scuola un rinomato dentista, il primo di colore in tutta Inghilterra, Walter aveva conosciuto il football e ne era rimasto incantato.