Den første fase af de fleste beslutningstagning i business er indsamling af data. I de fleste tilfælde er oplysninger indsamlet i form af ord. Når ordene er tilgængelige, de fagfolk, der samler data udføre en analyse af disse ord, og forelægge resultaterne for beslutningstageren. Nylige videnskabelige undersøgelser viser, at disse fagfolk, hyppigst, mislykkes i deres analyse af kvalitative data. Artiklen indeholder beviser fra en videnskabelig undersøgelse.
En videnskabelig undersøgelse (Baxt WG, Waeckerle JF, Berlin JA, Callaham ML. Der gennemgår korrekturlæserne? Muligheden for at bruge en fiktiv manuskript til at evaluere peer reviewer ydeevne. Ann Emerg Med. 1998 Sep; 32(3 Pt 1):310-7) indført 10 store og 13 småfejl i en fiktiv videnskabelige manuskript. Håndskriftet blev sendt til alle korrekturlæsere af Annals of Emergency Medicine, den officielle offentliggørelse af American College of Emergency læger. Annaler har været trykt i mere end 25 år, og er den mest udbredte læse journal i katastrofemedicin. Arbejdet beskrevet i manuskriptet var en standard dobbelt-blind, placebo control study propranolol drug virkning på migræne hovedpine. Håndskriftet blev gennemgået af 203 korrekturlæsere. Firs procent af anmeldere var professorer på akademiske katastrofemedicin afdelinger, og tyve procent var læger i privat praksis.
Analyse af korrekturlæsernes kommentarer produceret følgende resultater. Femten korrekturlæsere anbefalede publikation. Korrekturlæsere i denne gruppe gik glip af 82.7 af de store fejl og 88.2% af de mindre fejl.Sixty syv korrekturlæsere anbefalede revisioner. Korrekturlæsere i denne gruppe savnet 70,4% af de store fejl og 78.0% af de mindre fejl. Et hundrede og sytten korrekturlæsere anbefalede forkastelse. Korrekturlæsere i denne gruppe savnet 60,9% af de store fejl og 74,8% af de mindre fejl.
Ifølge tabellen savnet 15 professorer, der anbefalede publikation, i gennemsnit 82.7% af de store fejl og 88.2% af de mindre fejl. Med andre ord den professorer gik glip af mindst 4 ud af 5 fejl indsat i håndskriftet. Disse fejl blev defineret af forfatterne som “nonremediable fejl, der er fundet ugyldige eller markant svækket konklusionerne af undersøgelsen.” Det er interessant at bemærke, at en af de mindre fejl i manuskriptet var en stavefejl i lægemidlets navn. Ud af de 203 korrekturlæsere, 30 var overbevist i rigtigheden af forkert stavede navnet og brugte det i hele deres interview. Forfatterne til undersøgelsen sagde om resultaterne (med de sædvanlige videnskabelige undertone): “det lille antal fejl identificeres af anmeldere i denne undersøgelse var overraskende. De store fejl anbringes i manuskriptet ugyldige eller undergravede hvert af de vigtigste metodologiske trin af undersøgelsen … Identifikation af selv en brøkdel af disse fejl bør have viste, at undersøgelsen var ikke-genanvendelige, endnu korrekturlæserne identificeret kun 34% af disse fejl og kun 59% af korrekturlæserne afvist arbejde.”
Punkter at overveje:
1. i denne undersøgelse var anmelderne professorer og privatpraktiserende læger med et gennemsnit på 3 års erfaring som korrekturlæsere for annaler og ekstra års erfaring, revidere videnskabelige manuskripter for 2 andre videnskabelige tidsskrifter, og med 10 år erfaring øve katastrofemedicin. Disse anmeldere har et meget højere niveau af ekspertise i fag af testede manuskriptet i forhold til selv de mest erfarne marked forskere analyserer kvalitative kundedata, de mest erfarne personalechefer analysere ansøgeres data, advokater analysere patenter, eller investering analytikere og konsulenter analysere forretningsdata. Så, hvis professorer og læger har kunnet genkende store fejl i en standard videnskabelige manuskript, hvad er chancerne for, at de mindre uddannede fagfolk vil identificere huller og uoverensstemmelser i overstørrelse kvalitative business data?
2. i denne undersøgelse, var professorerne forventet til at identificere de tekniske fejl fundet i håndskriftet. Identificering og eliminering af denne type fejl er målet for år af uddannelse gennemgået af hver videnskabsmand. I modsætning til denne undersøgelse, det store flertal af kvalitative studier i business omfatter psykologiske huller og uoverensstemmelser, og i modsætning til forskere, de fleste andre fagfolk modtage lidt eller ingen uddannelse i at identificere psykologisk fejl. Hvis professorer ikke har kunnet identificere de fleste af de tekniske fejl, hvad er chancerne for, at de mindre uddannede fagfolk få succes i at identificere de langt mere udfordrende psykologisk fejl?
3. hvordan bekymret bør du, når en markedsanalytiker analysere din fokusgrupper? En typisk fokusgruppe rummer omkring 12.000 ord. En gennemsnitlig håndskriftet rummer omkring 3.000 ord, langt mindre end en enkelt fokusgruppe. En typisk marked forskningsundersøgelse består af 4-8 fokusgrupper eller 16 til 32 gange mere tekst. Så hvis eksperter i denne undersøgelse ikke har kunnet identificere de fleste af de tekniske fejl i en mængde data svarende til en ud af en enkelt fokusgruppe, er hvad chancerne for, at en markedsanalytiker vil identificere psykologiske uoverensstemmelser (og intellektuel uoverensstemmelser) med et meget større datasæt?
4. hvordan bekymret bør du, når en human resource manager analysere en pulje af ansøgere? En udskrift af en én times interview holder omkring 6.000 ord (ved ansættelse af mellemste og øverste ledere, interviewene kan tage en hel dag med en størrelsesorden mere ord). Når interviewe et par kandidater, kan de samlede data omfatte 30.000 eller flere ord (for 5 kandidater). Så hvis eksperter i denne undersøgelse undladt at identificere de store uoverensstemmelser i en mængde data svarer en halvdel af et enkelt interview, hvad er chancerne for, at en human resource manager vil identificere de store uoverensstemmelser med en meget større datasæt?
5. hvordan bekymret bør du, når en investering analyst analysere nogle virksomheder for dig? En årsrapport kan omfatte anspændt i tusind ord. For eksempel, årsberetning for IBM 2004 er 100 sider lang og indeholder mere end 65.000 ord. Så hvis eksperter i denne undersøgelse undladt at identificere de vigtigste problemer i et datasæt, der indeholder mindre end 5% af de data, som indgår i den årlige rapport fra IBM 2004, er hvad chancerne for, at en investering analyst vil identificere de væsentligste problemer skjult i meget større datasæt?
Resumé:
Baxt, et. al. undersøgelse viser at professorer og læger, der er højt uddannede fagfolk, oftest undlader at identificere store tekniske fejl i en standard kvalitative datasæt, og som følge heraf ankommer den forkerte beslutning. Hvad er chancerne for, at de mindre uddannede fagfolk vil udkonkurrere professorer til at identificere de mere udfordrende psykologisk huller og uoverensstemmelser i en meget større ikke-standardiseret datasæt? Og når de professionelle analytikere ikke, hvad er chancerne for, at selvom fejladresserede, du stadig træffe den rigtige beslutning?