Tim Harford

Yes, this equates to millions of mostly tiny fish, but to put that into context, a single medium-sized commercial fishing trawler might catch hundreds of tons of fish each year. So one fishing trawler kills more fish than a nuclear power station, which is why the Fingleton report focuses on the impact on endangered fish. However, what we said in the original item was misleading, and in the spirit of more or less, we hold up our hands and we admit it when we're wrong. Quite right too. Thank you, Richard.

Oh no, what now? Don't worry, Tim. That's the YouGov error siren. That's relief. YouGov's error, not ours. It's Tom Coles. Cat correspondent extraordinaire. Occasional producer of the series. What have YouGov done? Well...

Muistatko, että puhuttiin viime vuoden jälkeen kirjallisesta kirjallisesta kirjallisesta kirjallisesta kirjallisesta kirjallisesta kirjallisesta kirjallisesta kirjallisesta kirjallisesta kirjallisesta kirjallisesta kirjallisesta kirjallisesta kirjallisesta kirjallisesta kirjallisesta kirjallisesta kirjallisesta kirjallisesta

And I seem to remember that YouGov told us that they had checked everything and that their result was entirely legit. Well, they've now gone back and found that it wasn't legit at all. They've retracted the survey and apologised, although they didn't want to come onto the programme and tell us what happened.

Right. So what did happen? In a statement they said that they looked again at the original survey data and found that specific demographic groups contained a number of respondents who they can now identify as fraudulent. They said... Hmm.

Yllättäminen on todella tärkeä asia joillakin kristillisissä kirkkoissa, joten tietoprosessi on hieman ymmärrettävää. Se oli kuitenkin tervetuloa professorin David Voselle, yliopiston yliopiston yliopiston yliopiston yliopiston yliopiston yliopiston yliopiston yliopiston yliopiston yliopiston

että jotain on kääntynyt, jotta se osoittaisi oikeuden ensimmäisen skeptismin. Toisin sanoen, minusta se on hienoa, että se on pitänyt niin pitkälti, koska alussa sanoin, että ei vain, että tutkimukset olivat todennäköisesti erilaisia, vaan myös, miksi ne olivat erilaisia.

vaikea olla väärä, ja mikä oli yleensä yllättävän yllättävän tuloksen takia, ja se on tullut, että se oli todennäköisesti hankala vastaus tutkimuksessa.

Kyllä, se on mukavaa saada selkeän vastauksen, mutta Tom, olen mielenkiintoinen, onko tämän vastauksen valmistelua jotain tärkeää vastaavalle vastaavalle vastaukselle? Ehkä, kyllä. Tällainen erityinen ongelma tässä tutkimuksessa on se, jota olemme puhuneet aiemmin, että vastaukset eivät ole todennäköisiä vastauksia, erityisesti nuorten vastauksista.

Quick refresher on the terminology here. The best quality polling uses a probability sample where the polling company works out the people they need for a representative sample and then recruits them to take part. But the Quiet Revival survey used a non-probability sample. YouGov recruits a panel of volunteers who sign up to do the surveys for a small financial reward and then you invite the people you need to take part from that panel. We have...

Hyvää syytä uskoa, että paljon akademiaista tutkimusta on mennyt tähän viime vuosina. Nämä paneelit ovat yhä enemmän ohjautuneet rauhallisista vastauksista. Nämä voivat olla todellisia ihmisiä, jotka eivät ole niitä, joita he suosittelevat olemaan. Ne voivat olla todellisia ihmisiä, joita he eivät oikeastaan kiinnosta.

The subject matter of the surveys and just racing through them as quickly as possible. And at least since 2022, they may well be AI chatbots that can be trained to simulate real people.

Nyt, kun käsittelee osallistujia yleisölle kuten YouGov, on erityinen ongelma demograafisten ryhmien kanssa, jotka eivät käsittele isoja osioita. Yksi niistä on nuoret. Jos järjestetään AI-kysymyksiä, jossa on joku asukka, joka asuu pysyvällä Indiassa, joka yrittää saada 50p.

by doing a survey and doing as many as possible, what you will claim to be is a young man in Britain, probably in a big city. And I suspect that that's why we're getting such anomalous results, particularly in that age range and in that gender.

Ja Tom, se oli nuorten ihmiset, jotka näkivät ison lisää heidän kirjallisuudestaan, jolloin YGOV on nyt juuri huomannut, etteivät he saaneet paljon huonosta vastauksesta. Kyllä. YGOV ei ole kertonut meiltä, millaiset vastaukset ovat todennäköisesti heikkoja, mutta David sanoo, että on melko mahdollista, että vastaukset botista, jotka yrittävät olla ihmisiä, voisivat ristiriitaa tämän ryhmän ympäri.

Other surveys show the chances of young men going to church are very low. So they would answer a question about church going at the extreme end of the scale. But a bot might try to avoid the extreme ends of the scale to look more middle of the road and human, meaning they might push the average upwards. OK, so always be sceptical about interesting poll results on the views of young men. Got it.

En pysty auttamaan, mutta olen huomannut aiheesta, joka on yksi asiaa, jota poliitikkojen täytyy käsitellä. Tom, se tuntuu minulle kuin jotain, mikä voisi olla hyvin iso ongelma.

Kyllä, se on sellainen tunne. Olen puhunut Annetta Jeklaa siitä. Hän on tutkija tutkimusmetodologiaa Esiksen yliopistossa. Hän kertoi minulle, että AI-vaihto on tullut todella lähellä, jossa on kehittynyt jotain nimeltä agenttinen AI. Tämä on AI-vaihto, joka on melko erilaista chat-GPT ja GROC-vaihtoihin, joissa kirjoitat kysymyksen ja LLM, joka on suuri kielimodellinen modeli, käsittelee vastauksia.

Long story short, in the age of AI, if you see a survey response that you can't triangulate with other data and trends, then you need to be very wary. Exactly. One more thing, Tim. When they retracted their survey, YouGov said they were going to run another Quiet Revival poll with all the anti-fraud measures in place this time. It'll be interesting to see what that one finds. Yeah, it's the gift that keeps on giving. Thank you, Tom, and thanks to David Vose and Annette Jekla.

Kyllä, olen toivottavasti toinen klakson. Tämän kerran luonnon teemassa. Minun täytyy muistaa, että olemme vahvistaneet vahvistamme. Eikä pelkästään huolta tai arvoa. Kukaan ei ole ylipäätään rauhoitunut. Jos olemme ystäviä kuulijoillemme, joita he ymmärrettävät, olemme seuranneet, missä tarina liittyy. Ei kuitenkaan, kuka se tarkoittaa.