Momak iz Lidsa koji se nalazi u Jorkširu brani boje ekipe iz Lankšira što baš i nije poželjno obzirom na veliko rivalstvo klubova iz ovih engleskih okruga.
Ipak, fudbal je prevazišao mnoge barijere pa Džejms Milner nema nikavih problema što se tog tiče. Rođen je u Vortliju, mjestu pokraj Lidsa 4. januara 1986. godine i sada nastupa za Liverpul. Dok je išao u osnovnu školu igrao je kriket, bavio se atletikom i tri puta zaredom bio šampion na 100 metara u školskim takmičenjima. Pošto je od malih nogu bio navijač Lidsa logično je bilo da u tom klubu napravi prve fudbalske korake.
Kada je imao deset godina priključio se Lidsovoj akademiji i igrao je utakmice protiv vršnjaka iz grada i okoline uključujući klub za kojeg je nastupao Vejn Runi. Za prvi tim debitovao je 10. novembra 2002. kada je na utakmici protiv Vest Hema zamijenio Džejsona Vilkoksa u posljednjih šest minuta. Tim nastupom postao je najmlađi igrač koji je do tada zaigrao u Premijer ligi Engleske i imao je samo 16 godina i 309 dana da bi sa 16 godina i 356 dana, 26. decembra postao najmlađi strijelac takmičenja, a rekord je oborio Džejms Vogan 2005. Milner je potpisao petogodišnji ugovor sa Lidsom 10. februara 2003., ali je poslat u Svindon na kaljenje i tu proveo mjesec.
Pošto je ekipa ispala iz Premijer lige u Čempionšip, Everton, Aston Vila i Totenhem su pokazali interesovanje za njegovo dovođenje. Na kraju Vila i Everton nisu poslali ponude dok je on odbio klub iz Londona jer mu je bio predaleko od kuće pa nije želio da ide. Iako je bio igrač na kojeg bi se mnogo računalo u budućnosti klub je morao da ga proda Njukaslu za 3,6 miliona funti jer je bio u velikoj finansijskoj krizi. Iako nije bio srećan što napušta klub, jula 2004. potpisao je petogodišnji ugovor sa “svrakama”. Drugu sezonu proveo je kao pozajmljen igrač u Aston Vili koja ga je otkupila 2008. za 12 miliona funti i on je dogovorio četverogodišnju saradnju. Na Vila parku se zadržao dvije godine i za 26 miliona funti pojačao je Mančester Siti dok je u transfer bio uključen i Stiven Ajrlend koji je otišao u Vilu.
Pet sezona branio je boje “građana”, a 2015. otišao je u Liverpul gdje je postao zamjenik kapitena. Bio je član svim omladinskih selekcija Engleske da bi za seniorski tim debitovao avgusta 2009. godine u prijateljskom meču sa Holandijom. Zbog nesuglasica sa selektorom Semom Alardajsom 7. septembra 2016. povukao se iz reprezentacije za koju je odigrao 61 utakmicu i jedini gol dao Moldaviji u kvalifikacijama za Svjetsko prvenstvo 2014. u Brazilu.