Poveznica između legalizacije marihuane i automobilskih nesreća? besmislica

U listopadu su Institut podataka o gubicima na autocestama i Institut za osiguranje sigurnosti na cestama objavili samostalno objavljeno izvješće koje sugerira da postoji snažna korelacijska veza između stope sudara automobila i legalizacije marihuane u državama. To bi bila mučna vijest da se nalaz temelji na jakim znanstvenim dokazima.

Nažalost za ove institute, podaci istraživanja u najboljem su slučaju mutni. A budući da su ove organizacije samostalno objavile izvješće, umjesto da prolaze kroz postupak znanstvene recenzije, teško je ozbiljno shvatiti njihove nalaze.

Prije nego što počnemo gledati podatke, čitatelji bi trebali shvatiti da su, iako su Institut podataka o gubicima na autocestama (HLDI) i Institut za osiguranje sigurnosti na autocestama (IIHS) dva različita pravni organizacije, dijele isto više rukovodstvo, istu fizičku adresu i vjerojatno puno više. Čini se da su to dvije neovisne, nepovezane organizacije koje su pronašle slične rezultate kada su udružile svoje kolektivne umove, ali to nije slučaj.

Također ovaj članak moram započeti uobičajenim znanstvenim podsjetnikom - korelacija nije jednaka uzročnosti. Ako provedem studiju o učinku ljudi koji otvaraju kišobrane u gradskom središtu grada, naći ću vrlo snažnu pozitivnu korelaciju između te akcije i prisutnosti kiše. Ali znamo da otvaranje kišobrana ne uzrokuje kišu. Ipak, znanost će spremno pokazati snažnu korelaciju između njih dvoje - navodeći neke tužne, nesvjesne istraživače da sugeriraju da definitivno postoji uzročni odnos.

Odaberite svoje države kontrole

U novoj studiji istraživač je proučio podatke o padu autoceste za tri ciljna stanja u kojima je marihuana postala legalizirana izvan medicinske uporabe (Monfort, 2018). Zatim je usporedio stope nesreća tih država s pet kontrolnih država (država koje su se općenito graničile s državama legalizirane marihuane). Na primjer, Colorado je bio uparen s tri države: Nebraska, Utah i Wyoming.

Već vidite problem, zar ne? Colorado dijeli granice sa šest država, a ne samo s tri: Arizona, Novi Meksiko i Kansas. Sličan problem vidimo i s ostalim odabranim kontrolnim stanjima. Kontrolne države Oregona bile su Idaho (odgovarajuća država za usporedbu) i Montana - država bez izlaza na more s kojom dijeli malo zajedničkog i nema granice.

Istraživač je opravdao ove izbore jer je sestrinska organizacija IIHS objavila prethodno izvješće odabirući ta stanja. Ti neimenovani istraživači izabrali su države na temelju korelacije - ponekad ne baš jake - sličnosti između brzine podataka o padovima. Ne demografski podaci, zemljopisni podaci (krivudave planinske ceste nasuprot ravnim poljima) ili neki drugi razlog.1 Sporno je jesu li „sezonski obrasci padova prije 2014.“ legitimna znanstvena usporedna varijabla za odabir kontrolnih stanja, kada se druge varijable čine daleko prikladnijima.

U daljnjoj e-poruci s glasnogovornikom IIHS-a rekao je da je istraživač želio "upotrijebiti dva različita skupa podataka i vidjeti hoće li rezultati biti slični. Korištenje različitih kontrolnih stanja ne bi imalo smisla. "

Kao što dugogodišnji čitatelji znaju, istraživači mogu prilično manipulirati svojim podacima, analizom ili hipotezom kako bi pokazali rezultate koje žele pronaći. To je jedan od razloga zašto su mnogi ljudi općenito skeptični prema istraživanjima. Postoji toliko mnogo načina na koje istraživač može manipulirati podacima - često iz vrlo opravdanih, dobrih razloga - da može biti izazov otkriti uvedenu pristranost.

To, međutim, nije bio slučaj s ovom studijom. Mislim da su pristranosti, po mom mišljenju, prilično jasno postavljene.

11 analiza, ali samo 3 značajne

Drugi znak da je ovo izvješće o istraživanju krajnja glupost jest da čak i kad je špil karata bio složen na način koji je sam istraživač odabrao, još uvijek nije mogao naći puno značaja u podacima za većinu statističkih analiza koje je vodio. Pogledajte i sami:

Vidiš te tri zvjezdice? To su jedine tri analize koje su bile statistički značajne. Primijetite kako se samo jedna od tih zvjezdica pojavljuje u stvarnoj usporedbi između država - između Kolorada i Utaha. Sve ostale analize država-država nisu pokazale značajnu razliku između kontrolne države i marihuane-pravne države.

U sedam samo državnih analiza, samo je jedna bila značajna. To je prilično značajno otkriće koje je prekriveno u izvješću (a IIHS ga uopće nije spomenuo). U mojim istraživačkim krugovima ovo bismo nazvali "slabim".

Udružimo podatke!

Tek kada je istraživač spojio čitav niz kontrolnih država, pronašao je još dvije značajne korelacije.

Općenito razumijem da se istraživači suzdržavaju od udruživanja podataka iz različitih izvora, osim ako ne mogu opravdati odluku da to učine, te osiguravaju da su temeljne varijable homogene (ili slične).

Ne samo da to morate osigurati za skupinu država, kao u trenutnom istraživanju. No, istraživač je također objedinio podatke tijekom više godina.

Nije očito kakvim je opravdanjem istraživač odabrao godine koje je proveo (2012.-2016.), Osim što je rekao da su to bile godine kada su takvi podaci bili dostupni u svim tim državama. Međutim, u površnom pretraživanju vladinih web stranica svake države, općenito sam pronašao pouzdano dostupne podatke o padovima od 2005. godine.

Znamo da godišnji podaci o padovima nisu homogeni - mogu se znatno razlikovati od godine do godine. Primjerice, u svim su državama postoci padova porasli u 2014., 2015. i 2016. - bez obzira na državu. Dakle, ono što istraživač pokušava izmjeriti razlikuje li se Idahov porast od 7,84 posto u 2015. godini od porasta Oregona, pogodnog za marjiuanu, za 7,09 posto. Ili je li stopa marihuane u Koloradu za 2015. koja je povećala broj nesreća za 4,37 posto u odnosu na 2014. značajno drugačija od porasta Utaha za 9,96 posto ili od Novog Meksika za 10,19 posto.

Nadalje, različite države dobile su različite veličine bazena za ispitivane mjesece, ovisno o tome kada je njihova maloprodajna prodaja marihuane stupila na snagu. To je značilo za Oregon, istraživač je skupio 2012., 2013., 2014. i veći dio 2015. zajedno kao jedan skup podataka, a 2016. + 2 mjeseca u 2015. kao drugi skup podataka (46 mjeseci u odnosu na 14 mjeseci). No, Colorado je legalizirao marihuanu u siječnju 2014., tako da je imao samo dvije godine podataka prije legalizacije i tri godine nakon legalizacije.

U poštenoj i točnoj znanstvenoj usporedbi, svi skupovi podataka trebali bi biti slične veličine u smislu vremenskog razdoblja ispitivanog prije i nakon varijable koju pokušavate izmjeriti u svojoj analizi. Pogotovo kad ti podaci, znamo, nisu homogeni.

Pa što pokazuju podaci?

Istraživač nije pružio uobičajene detalje koji su potrebni za ponavljanje njegovog djela. Stoga moramo ispitati sirove podatke i samo pogledati očitija pitanja.

Gledajući Colorado, možemo usporediti njegovu stopu nesreća tijekom vremena s dvije druge države. Prije 2013. godine Colorado je bilježio međugodišnji pad ukupnih stopa nesreća (svi podaci s web mjesta svake države). Tada je 2013. država zabilježila skok od 6,29 posto u padovima, koji se nastavio u 2014. (6,79 posto) i 2015. (4,37 posto). U 2016. godini država je zabilježila rast od samo 0,35 posto.

Usporedite ove brojeve s jednom od kontrolnih država, Utah, koju je istraživač uključio. Utah je također zabilježio rast broja padova u 2013. godini (9,05 posto), koji su opali 2014. godine (-2,96 posto). Stope padova te države ponovno su porasle u 2015. i 2016. (9,96 posto, odnosno 3,94 posto).

Sad usporedimo te brojeve s jednim od kontrolnih stanja koje nije izabrao istraživač, Novi Meksiko. Stopa sudara zabilježila je pad u 2013. godini (-4,78 posto), ali potom dvije godine rasta u 2014. i 2015. godini (3,64 i 10,19 posto). 2016. godine u Novom Meksiku zabilježen je pad od -0,53 posto.

Vjerujem da je razlog zbog kojeg je Utah izabrana za Novi Meksiko jednostavan. Stope padova u godinama 2014. - 2016. (ključne su godine za usporedbu marihuane u Koloradu) povećale su kumulativno samo 10,94 posto. Da su instituti umjesto toga koristili Novi Meksiko, stopa pada u istom vremenskom razdoblju iznosila je 13,3 posto. U usporedbi s kumulativnih 11,51 posto u Coloradu, možete vidjeti da je Utah niži - ali New Mexico (također susjedna država Colorado) jest gotovo 2 postotna boda više.

Sve to bacite u analizu koja uzima u obzir "državne karakteristike" (koje su uključivale samo stope nezaposlenosti i vremenske uvjete) i voila! Podaci koji naizgled pokazuju da prodaja marihuane utječe na stope pada.

Što to znači za marihuanu?

Podaci, čak i iz trenutnog istraživanja, u osnovi ne pokazuju statističku značajnost između maloprodaje marihuane i broja automobilskih nesreća u nekoj državi. Ako korelacija uopće postoji, ona je vrlo slaba i pronađena je tek kad je istraživač, po mom mišljenju, koristio upitne analize u studiji. Neke države susjedne Koloradu - na primjer, Novi Meksiko - nisu bile uključene u analizu i pokazale su veći porast rasta stopa nesreća u istom vremenskom razdoblju nego što je to činio Colorado.

Vjerujem da se ovakva vrsta izvještaja loše odražava i na IIHS i HLDI. Po mom mišljenju, ove organizacije, koje prvenstveno financiraju osiguravajuća društva, objavljuju zastrašujuće nalaze kako bi postigle politički i poslovni cilj. Ta otkrića nazivaju "istraživanjem", unatoč činjenici da se ponekad objavljuju samo na vlastitom web mjestu organizacije i očito nisu recenzirani, kao što se to radi u tradicionalnim znanstvenim istraživanjima. („Naše najnovije istraživanje o rekreacijskoj legalizaciji marihuane i nesrećama prijavljenim od strane policije predano je za objavljivanje časopisu Analiza i prevencija nesreća", Napominje glasnogovornik IIHS-a.)

Ovdje imamo ono što bih nazvao "lažnim istraživanjem" - istraživanjem koje se proteže kako bi pokazalo značajan odnos u kojem očito postoji samo veliki upitnik. Pa čak i ako je postojao korelacijski značaj, ovo istraživanje nema nikakvu potporu uzročnoj vezi. Obraćali smo se organizacijama za komentar, a oni su nas u osnovi upravo uputili natrag u studiju radi odgovora. Na primjer, glasnogovornik IIHS-a izjavio je: „Podaci o padovima marihuane u studiji IIHS nisu objedinjeni, već su pojedinačni rezultati iz svake države kombinirani u metaanalizi, što je prihvaćena metoda istraživanja. Pojedinačni rezultati za Colorado i Washington u analizi HLDI-a statistički su značajni. "

Kad sam istaknuo da je trenutna studija pokazala značaj samo za jednu državu - Colorado (i to samo u usporedbi s jednom drugom državom, Utah) - glasnogovornik me je uputio na prethodnu studiju. Očito nesvjestan da ako noviji istraživanje je u suprotnosti s ranijim istraživanjima, ne možete samo neprestano ukazivati ​​na to da su i dalje valjana. Ono što nova studija iz IIHS-a pokazuje jest da više nema značajne korelacije između marihuane i nesreća u Washingtonu - upravo suprotno od onoga što glasnogovornik tvrdi.

IIHS je organizacija koja pokušava educirati i informirati kreatore politika kada je u pitanju sigurnost vozača. Nažalost, većina političara i građana neće razumjeti ili shvatiti da su prevareni i umjesto toga vjeruju da je takva vrsta studije zapravo znanstvena.

Ukratko, nema jakih podataka koji povezuju maloprodaju marihuane s porastom automobilskih nesreća. Podaci koje imamo pokazuju samo vrlo ograničenu, slabu korelaciju - ne uzročno-posljedičnu - putem statističkih trikova.

Od sada ću biti mnogo sumnjičaviji prema bilo čemu što objavljuju IIHS ili HLDI.

fusnote:

1. Točnije, „Kontrolna stanja odabrana su na temelju blizine stanja studije, kao i na sličnosti sezonskih uzoraka sudara prije 2014. Ova sličnost temeljila se na korelaciji između mjesečnih učestalosti u stanju studije i svakog potencijalnog stanja kontrole tijekom 24 mjeseca 2012–13. Pearsonov koeficijent korelacije za Kolorado i Nebrasku iznosio je 0,85; za Wyoming, 0,79; a za Utah 0,60. Za Washington su kao kontrole odabrane države Montana (0,67) i Idaho (0,63). Za Oregon su korištene države Idaho (0,67) i Montana (0,83). " [↩]