Nästan hälften av ungdomarna i Storbritannien går nu till universitet. Vem som kommer in – och vad och var de studerar – påverkar en persons plats i samhället och deras framtida inkomster, samt den kompetens som finns på arbetsmarknaden. Kan big data hjälpa de "femtio procenten" att fatta ett av de viktigaste besluten i sina liv – och främja framgången för Storbritanniens forskarekonomi?

I början av 1970-talet fanns det 600, 000 universitetsstudenter. Nu finns det 2,5 miljoner. Under 2017, ungdomars deltagande i högre utbildning nådde 49 % – den högsta nivån sedan införandet av studieavgifter.

Universitet erbjuder löften om livsförändrande möjligheter och undervisning som utvecklar kunskaper och färdigheter. Individer, Samhället och ekonomin är alla vinnare i spelet om högre utbildning.

Å andra sidan, studenter kommer att stå inför en genomsnittlig skuld på £50, 000, ett stigande avhopp på vissa institutioner och en osäker framtida arbetsmarknad.

Det är utan tvekan den bästa tiden och den sämsta tiden att vara student.

Och nu förutspår experter att 300, 000 nya universitetsplatser kommer att behövas till 2030 för att hänga med efterfrågan.

"Behövs är ett intressant ord i detta sammanhang, " speglar professor Anna Vignoles från Cambridges pedagogiska fakultet. "Det indikerar ett antagande som är inbyggt i vårt samhälle att alla borde försöka gå till universitetet. Om så är fallet blir det helt avgörande att blivande studenter förstår vad detta betyder när det gäller deras framtida anställningsbarhet."

Utbildning plus de jobb det leder till är viktiga faktorer för att förbättra den sociala rörligheten och tillväxten i en ekonomi. Och även om Vignoles inte påstår sig ha svar på hur detta fungerar bäst, vad hon och hennes kollegor har är tillgång till den största brittiska utbildningsdatauppsättningen någonsin för att koppla utbildning med inkomster – och en uppsättning komplexa frågor att ställa till den.

Uppgifterna har samlats in som en del av Department of Education's Longitudinal Education Outcomes (LEO). Det är faktiskt två datamängder:utbildningsresultatet för tre miljoner barn i grundskoleåldern per år, följt sin gymnasie- och vidareutbildning till universitetet, inklusive ämnet och universitetet de väljer; och deras efterföljande skatteregisterdata upp till tio år efter examen.

Vignoles och kollegor i Cambridge och Institute of Fiscal Studies är de första som får tillgång till sådana typer av data, som de har arbetat med sedan 2013. Några av deras resultat har publicerats, och många fler kommer att följa.

"Topplinjens resultat är att kompetens på forskarnivå värderas på arbetsmarknaden och att, för de flesta akademiker, högre utbildning leder till mycket bättre inkomster än de som tjänas av icke-examinerade, ", säger Vignoles. "Tony Blair lovade 2001 som premiärminister att öka andelen ungdomar som går vidare till universitetet till 50%. Det är tydligt att Storbritannien nu är på god väg mot denna milstolpe och att uppnå ambitionen att bli en ekonomi med examen."

Men när teamet tittade i detalj på hur utexaminerade inkomster varierar mellan institutioner, examensämne och föräldrarnas inkomster, de slogs av variationens omfattning.

Till exempel, deras första studie, publicerades 2016, visade att mer än 10 % av de manliga utexaminerade från London School of Economics, Oxford och Cambridge tjänade över 100 pund, 000 om året tio år efter examen, Medianinkomsterna för utexaminerade från vissa institutioner var lägre än medianinkomsterna för icke-examinerade tio år senare.

Läkarstudenter var de som tjänade bäst tio år efter examen, följt av civilekonomer. De som studerade skapande konst hade de lägsta inkomsterna, men det var stora skillnader beroende på vilken institution som besöktes.

En del av dessa resultatskillnader är hänförliga till skillnader i inträdeskrav och nivåer av tidigare prestationer på A-nivå. Poängen som Vignoles tar upp är att det är viktigt för unga att vara medvetna om dessa skillnader när de gör sina val.

"Naturligtvis faktorer utöver examensintäkter, som elevens intresse för ett ämne, kommer och bör driva studenternas val, och vi bör värdera ämnen oavsett om de har höga inkomster, " säger Vignoles. "Men, it is also important that we don't hide this information from students in the hope that they won't notice the lack of jobs or earning power when they leave."

The team's analysis of LEO doesn't just give a full picture of what our education system is doing as a whole but also what it's doing for those from disadvantaged backgrounds.

"It's partly through analysis of these data that we show that a massive socio-economic gap in achievement at the point of entry into the school system actually worsens through primary and early secondary school. It is these early gaps in achievement that are largely responsible for fewer young people from poorer households going to university."

But the inequality doesn't end there. "What you really want to know is what about the students from poorer backgrounds who have managed to achieve in the system? We shouldn't expect any difference between their success in the labour market and that of their advantaged peers – if education is the route to social mobility then they've done their bit."

In fact they found that students from richer backgrounds still did better in the labour market than other students. "Even students who studied the same subject at the same university earn on average 10% less than more affluent peers if they come from poorer backgrounds, " hon säger.

"Why is there this second socio-economic gap? Is it around 'social capital' networks that they don't have? Or types of postgraduate study they can't afford? It's really important for us to know what we're dealing with so that we can get to the root causes."

The team's findings are also relevant to discussions around the demand for skills that will advance the success of the UK's economy and the level at which the state subsidises higher education. "How these relate to higher education are controversial issues, " says Vignoles, "It's important that the intrinsic value of going to university is not lost in discussions that focus on the economics of human capital investment."

Än, according to the 2017 CBI/Pearson Education and Skills Survey, 61% of businesses said that they fear a shortage of people with the necessary skills to fill their predicted increase in high-skilled roles over the coming years.

Under tiden, the government underwrites student loans; graduates pay 9% of their earnings above an income threshold of £25, 000. "For around three quarters of graduates, it's unlikely they will have paid off the loan by the end of their working lives, " says Vignoles.

"This income contingency is crucially important – we can't give students mortgage-sized debts and ask them to take the risk of not being able to repay them. The state has to subsidise students. But, as a consequence, the state will be subsidising some subjects that attract lower earnings more than others. And subsidy for higher education may mean less resource for further education or apprenticeships. We need a public debate on this.

"We might argue the government should be investing more in education across the piece because we want a highly skilled future, but some hard choices need to be made about where to invest. That's where big data approaches can inform a wider debate – helping us to dig deep below the surface of these complex issues."