Evaluarea sondajelor de neprobabilitate online

De Courtney Kennedy, Andrew Mercer, Scott Keeter, Nick Hatley, Kyley McGeeney și Alejandra Gimenez

Întrucât costurile și ratele de non-răspuns ale sondajelor tradiționale, bazate pe probabilități, par să crească în fiecare an, avantajele sondajelor online sunt evidente - sunt rapide și ieftine, iar tehnologia este omniprezentă. Există, totuși, o problemă fundamentală: nu există un cadru de eșantionare cuprinzător pentru internet, nici o modalitate de a desena un eșantion național pentru care practic toată lumea are șansa de a fi selectați.

Absența unui astfel de cadru a dus la îngrijorări persistente cu privire la faptul că fracțiunea populației acoperite de abordările de neprobabilitate poate fi făcută să pară reprezentativă pentru întreaga populație. Timp de aproximativ 15 ani, studii independente au sugerat că răspunsul la această întrebare a fost, în general, „nu” dacă scopul a fost de a face estimări exacte ale populației.1De-a lungul timpului, totuși, cercetătorii și furnizorii de eșantioane au dezvoltat tehnologii și tehnici statistice menite să îmbunătățească reprezentativitatea sondajelor de neprobabilitate online. Mai multe studii de caz recente sugerează un viitor (unii ar argumenta un prezent) în care cercetătorii nu trebuie să aibă un eșantion costisitor, bazat pe probabilități, pentru a face estimări exacte ale populației.2

Elemente cheie ale studiului

Proiecta:
9 mostre online de neprobabilitate
Comparație cu un panou recrutat RDD
56 de măsuri, inclusiv 20 de repere

Analiză:
Bias estimat pentru rezultatele complete ale eșantionului
Tendința estimată pentru rezultatele subgrupului
Precizia estimată a modelelor de regresie
Profil demografic pe eșantion
Profil politic pe eșantion
Variabilitatea estimărilor între eșantioane

Pentru a înțelege mai bine peisajul actual al eșantioanelor de neprobabilitate disponibile în comerț, Centrul de Cercetare Pew a realizat un studiu în care a fost administrat un chestionar identic cu 56 de articole la nouă eșantioane furnizate de opt furnizori diferiți.

Aproape toate întrebările (52) au fost, de asemenea, puse pe valurile probabilității centrului bazat pe American Trends Panel (ATP), care se desfășoară predominant online, dar oferă răspuns prin e-mail pentru adulții care nu au acces la internet. Eșantioanele au fost evaluate utilizând o serie de valori, incluzând o prejudecată estimată pe 20 de estimări complete ale sondajului pentru eșantion, pentru care sunt disponibile repere guvernamentale de înaltă calitate, o prejudecată estimată pentru estimările majore ale subgrupurilor demografice și precizia predictivă a patru modele de regresie diferite. Printre cele mai importante constatări ale acestui studiu sunt următoarele:



  • Sondajele de neprobabilitate online nu sunt monolitice.Studiul constată, ca punct de plecare, că metodele utilizate pentru a crea eșantioane de neprobabilitate online sunt foarte variabile. Furnizorii diferă substanțial în ceea ce privește modul în care recrutează participanți, selectează eșantioane și sondaje de teren. De asemenea, diferă dacă și cum își evaluează datele. Aceste diferențe de proiectare par să se manifeste în clasamentele eșantioanelor pe diferite valori de calitate a datelor. În general, eșantioanele cu proceduri de eșantionare și ponderare mai elaborate și perioade mai lungi de câmp au produs rezultate mai precise. Acestea fiind spuse, datele noastre provin din doar nouă eșantioane, astfel încât efectele acestor factori nu sunt bine izolate, făcând aceste concluzii particulare preliminare în cel mai bun caz.
Diferențe notabile în calitatea datelor între eșantioanele online
  • Unele părtiniri sunt consistente în eșantioanele online, altele nu.Toate eșantioanele evaluate includ mai mulți indivizi angajați politic și civic decât indică sursele de referință. Tendințele privind măsurile de voluntariat și rezolvarea problemelor comunitare au fost foarte mari, în timp ce cele privind angajamentul politic au fost mai modeste. În ciuda îngrijorărilor legate de eroarea de măsurare a acestor elemente, este acceptat faptul că aceste erori sunt reale, deoarece mai multe studii au documentat o legătură între cooperarea cu sondaje și disponibilitatea de a se angaja în activități de voluntariat.3

Există, de asemenea, dovezi, deși mai puțin consistente, că eșantioanele de neprobabilitate online se înclină mai mult spre anumite stiluri de viață. Majoritatea eșantioanelor au cote disproporționat de mari ale adulților care nu au copii, trăiesc singuri, încasează indemnizații de șomaj și sunt cu venituri mici. În unele privințe, acest pătrat cu un stereotip pe care l-ar putea imagina pentru persoanele care găsesc timp pentru a participa la panouri de sondaj online, probabil asemănător cu un loc de muncă cu jumătate de normă. Cu alte dimensiuni, totuși, estimările privind neprobabilitatea online sunt fie destul de exacte (de exemplu, au permis de conducere sau durata de timp la reședința curentă), fie prejudecățile nu sunt într-o direcție consecventă între probe (de exemplu, fumatul zilnic).

  • S-au găsit erori răspândite pentru estimări bazate pe negri și hispanici. Vânzătorii de sondaje online de neprobabilitate doresc să furnizeze eșantioane reprezentative pentru diversitatea populației SUA, dar o întrebare importantă este dacă membrii grupului care sunt membri ai grupurilor minoritare rasiale și etnice sunt reprezentativi pentru aceste grupuri mai larg. Acest studiu sugerează că nu sunt. În cadrul celor nouă eșantioane de neprobabilitate, tendința medie estimată pentru articolele de referință a fost mai mare de 10 puncte procentuale atât pentru hispanici (15,1), cât și pentru negri (11,3). În plus, eșantioanele online au dat rareori estimări exacte ale efectelor marginale ale faptului că sunt hispanici sau negri asupra rezultatelor substanțiale, atunci când se controlează pentru alte date demografice. Aceste rezultate sugerează că cercetătorii care folosesc eșantioane de neprobabilitate online riscă să tragă concluzii eronate despre efectele asociate cu rasa și etnia.
  • Un profil demografic reprezentativ nu prezice precizia. În cea mai mare parte, profilul demografic neponderat al unui eșantion nu a fost un predictor puternic al acurateței estimărilor ponderate ale sondajului. De exemplu, cele două eșantioane cu cea mai mică precizie generală s-au clasat foarte bine în ceea ce privește cât de bine se aliniază datele demografice neponderate cu criteriile de referință ale populației.4Implicația este că ceea ce contează este că respondenții din fiecare categorie demografică reflectă omologii lor din populația țintă. Nu este prea bine să se obțină corectă distribuția marginală a hispanilor dacă hispanicii chestionați sunt sistematic diferiți de hispanicii din populația mai mare.
  • Unul dintre eșantioanele online a fost cel mai performant.Eșantionul I a depășit în mod constant celelalte, inclusiv ATP bazat pe probabilitate, clasându-se pe primul loc pe aproape toate dimensiunile luate în considerare.5Acest eșantion performant a fost remarcabil prin faptul că a folosit un set relativ elaborat de ajustări atât la selecția eșantionului, cât și la etapele de ponderare. Ajustările au presupus condiționarea mai multor variabile pe care cercetătorii le studiază adesea ca rezultate ale sondajului, cum ar fi ideologia politică, interesul politic și utilizarea internetului. Impresia noastră este că o mare parte din succesul eșantionului I provine din faptul că a fost conceput (înainte și / sau în timpul câmpului) pentru a se alinia cu criteriile de referință ale populației pe această gamă mai largă de dimensiuni. Din păcate, nu putem testa riguros această afirmație cu datele disponibile, deoarece avem doar un sondaj de la acel furnizor și caracteristicile de proiectare relevante nu au fost manipulate experimental în cadrul sondajului respectiv. Deși faptul că eșantionul I a fost condiționat de variabile care sunt adesea tratate ca rezultate ale sondajului ridică întrebări importante, totuși se pare că furnizorul eșantionului I a dezvoltat o metodologie eficientă. Rezultatele acestui studiu sugerează că produc un sondaj național mai reprezentativ și mai precis decât concurența din cadrul spațiului de neprobabilitate online.
  • În raport cu eșantioanele de neprobabilitate, rezultatele ATP sunt mixte. Panoul bazat pe probabilități al Centrului de Cercetare Pew, ATP, nu se remarcă în acest studiu ca fiind mai precis în mod constant decât eșantioanele de neprobabilitate, întrucât prezentarea sa puternică generală în majoritatea elementelor de referință este subminată de neajunsurile estimărilor legate de angajamentul civic. A avut cea mai mică prejudecată medie estimată pentru măsurile care nu au legătură cu angajamentul civic (4,1 puncte procentuale), dar a fost legată în esență de alte trei eșantioane ca având cea mai mare tendință asupra acestor tipuri de întrebări (13,4 puncte). O explicație probabilă pentru acest tipar este că ATP este înclinat spre adulți mai angajați civic ca urmare a recrutării dintr-un sondaj telefonic de 20 de minute despre politică. În timp ce prejudecata implicării civice este îngrijorătoare, o analiză suplimentară indică faptul că nu generează erori mari în estimările pentru alte domenii. Atunci când reevaluăm ATP pentru a se alinia la sondajul actual al populației (CPS) pentru a elimina această prejudecată, există un impact foarte mic asupra altor estimări ale sondajului, inclusiv estimări ale votului, identificării partidelor, ideologiei și consumului de știri.6În acest studiu, ATP nu intenționează să reprezinte toate probele de probabilitate într-un mod semnificativ, ci oferă un punct de comparație. Este o întrebare deschisă cu privire la modul în care un sondaj telefonic unic cu cifrare aleatorie (RDD) sau un alt sondaj bazat pe probabilitate s-ar acumula în această analiză.
  • Toate mostrele online spun o poveste asemănătoare despre atitudinile politice și interesele recreative ale americanilor. Toate eșantioanele indică faptul că mai mulți adulți din SUA se consideră democrați decât republicani, deși, ca grup, toți înclină mai mult sondajele RDD telefonice cu cadru dual. În plus, toate eșantioanele arată că democrații și republicanii sunt polarizați în ceea ce privește atitudinile lor cu privire la domeniul de aplicare adecvat al guvernului. Pentru a fi sigur, există unele diferențe notabile în anumite estimări punctuale - de exemplu, ponderea republicanilor care spun că guvernul face prea multe lucruri mai bine lăsate întreprinderilor și persoanelor fizice este fie de 64%, fie de 82%, în funcție de dacă se crede eșantionul F sau eșantionul I. Cu toate acestea, contururile largi ale atitudinilor politice ale americanilor sunt similare între eșantioane. În același sens, rezultatele dintr-o baterie de 11 articole de interes personal - de la grădinărit la muzică hip-hop - arată că articolele de top au tendința de a fi aceleași de la un eșantion online la următorul.

Acest raport se concentrează pe piața sondajelor de neprobabilitate online, așa cum există în prezent. Dar o mare parte din cercetările academice și aplicate actuale pe acest subiect se concentrează pe modul în care astfel de eșantioane pot fi îmbunătățite prin modelare. În afară de ajustări relativ simple de „greblare”, acest studiu nu a examinat beneficiile potențiale ale metodelor mai elaborate pentru corectarea prejudecăților.

Pentru a aborda acest lucru, sunt planificate rapoarte de cercetare suplimentare privind eșantionarea online de neprobabilitate. Se va examina o varietate de metode de ajustare pentru a determina cât de bine poate fi îmbunătățită acuratețea și comparabilitatea estimărilor între eșantioane de neprobabilitate. Cercetarea în desfășurare va testa diferite și mai complexe abordări ale ponderării (dintre care unele au fost utilizate de cercetători din alte organizații) și va evalua eficacitatea acestora în reducerea prejudecății.

Un al doilea studiu va examina fiabilitatea măsurătorilor repetate în timp folosind eșantioane de neprobabilitate online. Capacitatea de a urmări schimbările în timp a fost unul dintre punctele forte ale sondajelor de probabilitate.7

Ce înseamnă (și nu) un eșantion de „probabilitate” pentru calitatea datelor

În acest raport facem o distincție între eșantioane recrutate dintr-un design în care aproape toată lumea din populație are șanse cunoscute, diferite de a fi selectate „(bazate pe probabilitate”) față de eșantioane recrutate din reclame, solicitări pop-up și alte abordări în care șansele ca un anumit membru al populației să fie selectat sunt necunoscute '(neprobabilitate'). Timp de decenii, cercetătorii studiului au avut tendința de a favoriza probele de probabilitate față de probele de neprobabilitate, deoarece probele de probabilitate, în teorie, au proprietăți foarte dorite, cum ar fi imparțialitatea aproximativă și marjele de eroare cuantificabile, care oferă o măsură la îndemână de precizie. Pentru cercetătorii care studiază tendințele atitudinilor și comportamentelor în timp, stabilitatea absolută a proceselor de eșantionare bazate pe probabilitate reprezintă o proprietate crucială suplimentară.

În timp ce diferențele dintre probele de probabilitate și probabilitatea de probabilitate pot fi clare din punct de vedere conceptual, realitatea practică este mai complicată. Rădăcina complicației este lipsa de răspuns. Dacă, de exemplu, 90% dintre persoanele selectate pentru un sondaj de probă probă refuză să răspundă, probabilitățile de selecție sunt încă cunoscute, dar probabilitățile individuale de răspuns nu sunt. În majoritatea anchetelor populației generale, este extrem de dificil să se estimeze probabilitățile de răspuns cu un grad ridicat de precizie. Atunci când cercetătorii nu cunosc probabilitățile de răspuns, trebuie să se bazeze pe ponderare pentru a încerca să corecteze orice moduri relevante în care eșantionul ar putea fi nereprezentativ al populației.

Din ce în ce mai mult, cercetătorii subliniază că, atunci când un sondaj bazat pe probabilități are o rată ridicată de nerespuns, instrumentele de remediere și ipotezele care stau la baza estimărilor sondajului sunt similare, dacă nu identice cu cele utilizate cu eșantioanele de neprobabilitate. Sondajele de nonprobabilitate și sondajele de probabilitate cu rate ridicate de nerespuns se bazează atât pe modelare - fie că este vorba de o ajustare a greblării, de o procedură de potrivire sau de un model de înclinație - pentru a ajunge la ceea ce cercetătorii speră că sunt estimări corecte și fiabile.

Facebook   twitter