Reflecties over psychologisch-wetenschappelijk publiceren

Hieronder als blog hoofdstuk 12 uit mijn boek Passie voor Psychologie (2004; SWP), een bundeling van eerdere stukken. Onderstaand stuk dateert gezien de referenties vermoedelijk van rond 1996, niet lang voor mijn promotie. Het artikel (dan wel een bewerking ervan) werd destijds afgewezen door tijdschrift De Psycholoog en ik meen ook als mijn geheugen me niet bedriegt door Het Nederlands Tijdschrift voor de Psychologie en haar Grensgebieden. In mijn tamelijk ongeordende archief zal ik eens zoeken of ik de afwijzingsbrieven met daarin de argumentatie nog kan vinden. Het gedachte-experiment over het in tweeën indienen van empirische onderzoeksartikelen heeft ook een plekje gekregen in mijn eveneens nauwelijks opgemerkte roman Impact (2015; Brainbooks/De Brouwerij). Ach ja, de tijdgeest.

Reflecties over psychologisch-wetenschappelijk publiceren

In het Nederlands Tijdschrift voor Geneeskunde (NTVG) verscheen ooit een serie artikelen over laakbaar (medisch-)wetenschappelijk gedrag (Barnard en Overbeeke, 1993; de Jong, 1993; Overbeeke, 1994). Wetenschappelijk wangedrag heeft betrekking op ‘het verzinnen en het vervalsen van gegevens, plagiaat en andere praktijken die in belangrijke mate afwijken van wat algemeen wordt aanvaard in de wetenschappelijke gemeenschap ten aanzien van onderzoeksvoorstellen alsmede uitvoering en verslaglegging van research’ (De Jong, 1993, p. 1408).

            Barnard en Overbeeke (1993) gaan in op het dubbel publiceren van onderzoeksartikelen. Een dubbelpublicatie is het opnieuw publiceren van dezelfde onderzoeksresultaten. Een parallelpublicatie is daarentegen een publicatie waarin ongeveer gelijktijdig dezelfde gegevens voor verschillende lezersgroepen worden gepresenteerd, bijvoorbeeld in een binnen- en buitenlands tijdschrift. Een parallelpublicatie is - als het goed is - van een noot voorzien, waarin verwezen wordt naar de eerste publicatie. Volgens Barnard en Overbeeke wordt minimaal veertien procent van de zogeheten oorspronkelijke stukken in het NTVG eerder of later elders gepubliceerd; elf procent doet dat niet volgens de regels. Na een telefonisch interview met de betreffende auteurs werden als redenen onder meer de onbekendheid met die regels en de lange publicatietijd bij het NTVG opgegeven.

            Overbeeke (1994) ordent de meest voorkomende vormen van wetenschappelijke oneerlijkheid naar de fase van het wetenschappelijk proces. In de onderzoeksfase noemt hij bijvoorbeeld misleidende subsidieaanvragen en het verzinnen van gegevens. In de fase van verslaglegging noemt hij onder meer het uitsluiten van personen als auteur ondanks een substantiële bijdrage, een verdraaide interpretatie van gegevens of verdraaiing van conclusies, een oneigenlijk gebruik van statistische methoden om tot andere conclusies te komen, en een overdreven zelfcitering om de eigen citatie-index te vergroten. In de fase van inzending wordt bijvoorbeeld niet gemeld dat het artikel bij verschillende tijdschriften is aangeboden. In de fase van beoordeling van het artikel worden bepaalde personen uitgesloten of juist gekozen als reviewer. En in de fase van publicatie kan plagiaat van resultaten, delen van artikelen of zelfs gehele artikelen naar boven komen.

            Overbeeke stelt dat niet iedere vorm als even ernstig vergrijp gezien. Het verzinnen van gegevens of plagiaat is veel ernstiger dan zelfcitering of het selectief weglaten van gegevens om resultaten te verbeteren. ‘Het is als met het invullen van het belastingformulier: echte fraude mag natuurlijk niet, maar ‘te veel’ betalen moet met zoveel mogelijk foefjes worden voorkomen’ (Overbeeke, 1993, p. 1823). Dat algemeen “gedoogd” wangedrag duidt hij aan met de term sloppy science.

            De Jong (1993) vermoedt als oorzaken voor wetenschappelijke fraude onder meer het gepreoccupeerd zijn met het bij elkaar schrapen van gelden in plaats van creatief te denken (dit zou aanzetten tot slordige wetenschap), de voorkeur van tijdschriften voor positief in plaats van negatief nieuws, onvoldoende supervisie van wetenschappers en persoonlijke eigenschappen als ijdelheid en persoonlijk gewin.

Volgens van Kolfschooten (1995) hebben wetenschappers, mede door politieke maatregelen van de minister om de kwaliteit van onderzoek te verbeteren, de schone schijn ontdekt. Hij schreef eerder: ‘Is de Amerikaanse opwinding over wetenschappelijk bedrog overdreven en kunnen Europese wetenschappers er hun schouders over ophalen? Dat lijkt onverstandig, want het werk- en onderzoeksklimaat zal in Europa door slinkende onderzoeksbudgetten, scherpere competitie en groeiende publicatiedruk steeds meer gaan lijken op het Amerikaanse. Deze factoren zullen hun weerslag hebben op het normbesef van sommige wetenschappers en ‘het decennium van het wetenschappelijk bedrog’ moet daarom in Europa nog beginnen’ (Van Kolfschooten, 1993, p.167).

            De vraag dringt zich op hoe het zit met de wetenschappelijke oneerlijkheid binnen psychologisch onderzoek. Hebben psychologen die schone schijn ontdekt? De oorzaken die de Jong (1993) noemt, kunnen immers ook binnen de psychologie gelden. Ook Hoogstraten (1979) constateert een tendens binnen de psychologie om significante uitkomsten te publiceren; ‘positief’ nieuws met andere woorden.

            Het is voorstelbaar dat de publish or perish-cultuur psychologen tot dubieuze praktijken aanzet. Dit stuk is een verkenning daartoe. Naar aanleiding daarvan worden er kanttekeningen geplaatst bij de heersende “publicatieterreur” (Jansen, 1993) zonder dat het belang van theorievorming wordt benadrukt, zoals geïllustreerd door Knippenberg en Van Luijtelaar (1995a). Met een gedachtenexperiment wordt geïllustreerd hoe tijdschriftredacties artikelen meer kunnen accepteren op theoretische relevantie.

Wangedrag binnen de psychologie

De affaire rond “Sir” Cyril Burt, die knoeide met intelligentiegegevens van tweelingen, mag bekend worden verondersteld (zie bijvoorbeeld Eysenck & Kamin, 1982). Een search in de Psychological Abstracts tussen 1987 en september 1995 met dezelfde trefwoorden die Overbeeke (1994) noemt, levert weinig op. Scientific dishonesty en scientific deceit geven geen enkele verwijzing. Scientific misconduct levert twintig verwijzingen op, scientific fraud zes en is bij nader inzien een deelverzameling van die naar scientific misconduct.

            De meeste referenties zijn naar discussies in de tijdschriften Ethics Behavior en Academic Medicine, beide niet verkrijgbaar aan de Universiteit van Amsterdam. Dat is geen excuus, maar de samenvatting leert dat het grootste deel van de artikelen gericht is op te nemen beleidsmaatregelen. Dat valt buiten the scope of this paper.

            Twee nieuwsberichten uit Science zijn daarentegen wel interessant. Holden (1987) beschrijft het geval van de psycholoog Breuning, die onder meer schuldig werd bevonden aan het moedwillig verzinnen van onderzoeksresultaten, het beschrijven van niet uitgevoerde onderzoeken en gesjoemel met steekproeven en co-auteurschap. Anderson (1993) bericht dat de psychologe Phinney met succes de Universiteit van Michigan aanklaagde. Inzichten uit haar onderzoek werden gebruikt voor een subsidieaanvraag, zonder dat zij werd gehonoreerd met een aanstelling binnen dat nieuwe onderzoeksproject. Zij bedong een schadevergoeding van ruim een miljoen dollar; een schril contrast met wat zij als wetenschapster zou verdienen.

            Van Kolfschooten (1993) komt met minder concrete voorbeelden. De psycholoog-filosoof Buytendijk zou in zijn boek De vrouw (1951) zonder bronvermelding ideeën en formuleringen hebben overgenomen uit Vom Wesen der Geschlechter (1947) van de Duitse fenomenoloog Philip Lersch. Dit werd onthuld tijdens een “feestrede” voor het 125-jarig jubileum van het NTVG. Plagiaat was het uiteindelijk niet; Buytendijks literatuurverwijzingen waren “misleidend onvolledig”.

            Van Kolfschooten noemt daarnaast de hoogleraar Chorus die in 1953 het boek Grondslagen der sociale psychologiepubliceerde. Daarin zou een twaalftal passages niet van noten zijn voorzien. Dit voorbeeld lijkt nogal gezocht, omdat Chorus wellicht iets in zijn eigen woorden navertelde. Van Kolfschooten vond verder twee professoren in de psychologie, die anoniem wilden blijven, bereid te praten over fraude-achtige zaken. De eerste kreeg het verzoek van een Amerikaans tijdschrift om twee van de vier afwijkende tabellen weg te laten; een verregaande vorm van datamassage, van sloppy science dus. De ander geeft het voorbeeld van een doctoraalstudent die gegevens voor zijn scriptie had verzonnen. Daar kwam hij toevallig achter door het experiment te herhalen.

            Zijn meest concrete voorbeeld betreft de psycholoog Kingma, die in een rechtszaak officieel van plagiaat werd beschuldigd en daarom een benoeming als hoogleraar in Groningen aan zijn neus voorbij zag gaan. Van Kolfschooten (1995) schrijft later dat Kingma weer een baan heeft bij diezelfde “barmhartige” universiteit.

Binnen de wetenschappelijke psychologie vindt er weinig (aantoonbaar) wangedrag plaats. Hoewel het Journal of Educational Psychology vermoedelijk niet “zomaar” waarschuwde voor het voorkomen van plagiaat (Levin & Marshall, 1993), lijkt het wel goed te zitten met de onderzoeksethische opvattingen. Dit komt overeen met bevindingen van Riordan en Marlin (1987) en Kenneth en Carney (1992). Die laatsten waarschuwen wel voor problemen met de gecomputeriseerde opslag van gegevens. Dit zouden niet zozeer problemen zijn waarbij fraude in het spel is, eerder slordigheid. Kenneth en Carney vinden het bijvoorbeeld geen slecht idee externe deskundigen controles van databestanden te laten doen. (Een dergelijke keuringsdienst van waren – wellicht samengesteld uit een poule van langdurig werkloze psychologen in dezelfde outfitals Amsterdamse stadswachten –, die onverwacht databestanden controleert, gegevens over interbeoordelaars-betrouwbaarheden checkt en variantieanalyses herhaalt, zal waarschijnlijk weinig enthousiast worden begroet in de vaderlandse laboratoria.)

Kwantiteit in plaats van theorievorming

Ondanks dat verregaande fraude binnen de psychologie niet voorkomt, kunnen er wel kanttekeningen worden geplaatst bij de “publikatie-terreur” (Jansen, 1993). Hoogstraten (1979) vindt dat er alle reden is tot enig wantrouwen. Ook onderzoekers in de psychologie hebben immers belang bij hun onderzoek, streven bepaalde doelstellingen na. Psychologen kunnen worden aangesproken op hun eindproduct in de vorm van artikelen; het proces van het onderzoek zélf is veel minder toegankelijk. ‘De lezer krijgt geen inzicht in de vroege fasen van onderzoek, de probleem- en hypothesekeuze, neemt niets waar van subtiele verschuivingen in de formulering van de hypothesen of van procedurele oneffenheden en blijft onkundig van het resultaat van andere statistische analysepogingen dan tenslotte vermeld’ (Hoogstraten, 1979, p. 100).

            Met andere woorden, wat er in de onderzoeksfase verdraaid kan worden, is nauwelijks zichtbaar (Overbeeke, 1994). Een gezond wantrouwen kan daarom geen kwaad, zonder dat direct te associëren met wangedrag.

            Zo is het opvallend hoeveel artikelen met significante resultaten worden gepubliceerd, resultaten die vaak niet worden gerepliceerd. Voor redacties kan het uitblijven van significante resultaten zelfs reden zijn artikelen niet te publiceren. De Groot (in Beijk, 1977) sprak al over de problematiek van de overmaat aan feitjes waaraan het grotere verband ontbrak. Hoogstraten (1979) merkt dat tijdschriften een voorkeur hebben voor verslagen van empirisch onderzoek boven theoretische beschouwingen. Beijk (1977) citeert in dit verband Carnay, die de theorievorming binnen de psychologie vergelijkt met een exploderende confetti-fabriek.

            Dergelijke geluiden misstaan ook nu niet; kennelijk is er weinig veranderd. Dat is vreemd, want elk onderzoek is toch gericht op theorievorming over de algemene probleemstelling van de psychologie, waarom een mens zich gedraagt zoals hij zich gedraagt?

Bovenstaande vraag is bewust ironisch gesteld. Nu overheerst de kwantiteit, niet de kwaliteit of theorievorming. Het is publish of perish. Deze mentaliteit wordt weerspiegeld in een artikel van Knippenberg en van Luijtelaar (1995a). Zij hanteerden een methode die niet alleen rekening houdt met aantallen publicaties, maar ook met auteurspositie en de kwaliteit van het publicatiemedium.

            Met deze methode stelden zij een ranglijst op van, in hun omschrijving, Nederlandse toppsychologen. Buiten het feit dat een groot aantal geen psycholoog is, zijn er inhoudelijke bezwaren over hun methode (bijv. Busato, 1995). De weging van auteurspositie is dubieus, omdat geen rekening wordt gehouden met de niet ongebruikelijke wijze auteurs in alfabetische volgorde te noemen. Ook is de auteurspositie niet zelden een afspiegeling van de onderlinge, hiërarchische verhoudingen. Daarnaast maken Knippenberg en Van Luijtelaar gebruik van een internationaal gehanteerde berekening die de impact van een tijdschrift zou meten en waarmee de kwaliteitkan worden uitgedrukt. Deze impactfactor wordt echter berekend. Het is de vraag of kwantitatief kwaliteit kan worden toegekend. Nederlandstalige tijdschriften krijgen in de berekening per definitie (want deze worden vanwege het beperkte taalgebied minder geciteerd) een lagere impactsfactor dan Engelstalige. Poletiek (1995) merkt terecht op dat impact onafhankelijk moet worden beoordeeld van taal. Het is een keuze in het Nederlands te schrijven, geen slechte prestatie. Bovendien is sommig onderzoek specifiek voor de Nederlandse situatie, zodat Engelse verslaggeving minder zin krijgt. Daarmee is het grootste bezwaar tegen de methode van Knippenberg en van Luijtelaar aangegeven: die zegt niets over de theoretische relevantie. Zij hebben de confetti-snippertjes geteld en - op het oog - ingenieus op een rijtje gezet. Met hun methode identificeren zij geen toppsychologen, maar stellen zij een Toppop samen van veelschrijvers.

            Knippenberg en van Luijtelaar (1995b) deelden bovenstaande kritiek niet. Zij voelden zich vooral aangevallen door Busato’s titel: “Misleidende informatie”. Deze werd – onbedoeld - geïnterpreteerd als beschuldiging, terwijl een woordenboek illustreert dat één van de betekenissen van misleiden luidt “op een verkeerd spoor zetten” (Van Dale, 11e druk), dus zonder negatieve connotatie. Busato zou “spoken” zien, en meer lezen in hun artikel dan er stond. Als kind was Busato reeds doodsbang voor spoken, die angst blijkt bij hem - nu hij psycholoog is – alleen maar tóegenomen (Busato, september 1995, persoonlijke communicatie).

            Volgens de wetenschapsfilosoof Karl Popper is kritiek de motor van de wetenschap. Wanneer Knippenberg en van Luijtelaar (1995b) bevestigen dat hun methode inderdaad niets zegt over mogelijke theoretische relevantie, is dat een vorm van struisvogelpolitiek, die de psychologie niet verder brengt. Het kan daarom geen kwaad te streven naar een criterium dat de theoretische impact uitdrukt. Het nu volgende gedachtenexperiment is bedoeld als een aanzet tot een discussie daarover.

Gedachtenexperiment

Stel: tijdschriftredacties besluiten verslagen van empirisch onderzoek in tweeën te laten inleveren. Eerst moet het theoretische, niet-empirische gedeelte worden ingestuurd met bijbehorende hypothesen: de inleiding en de opzet. Op grond daarvan beslist de redactie of ze belangstelling heeft voor de resultaten van het onderzoek, ongeacht of de uitkomsten statistisch significant zijn. Laat een redactie weten in beginsel geïnteresseerd te zijn, dan wordt nà het experiment het empirische, theoretische gedeelte opgestuurd: de resultaten en de discussie.

            Een artikel kan alleen op grond van de theoretische interpretatie worden afgewezen. Geeft een redactie te kennen niet geïnteresseerd te zijn, dan hoeven de resultaten bij dat tijdschrift niet meer te worden aangeboden en kan een andere redactie worden benaderd.

            Met zo’n beleid zullen artikelen worden geaccepteerd vanwege theoretische relevantie, en daarna pas vanwege statistische significantie. Tellingen van de aantallen publicaties van een auteur zeggen dan veel meer over diens theoretische bijdrage aan de literatuur, datzelfde geldt voor de frequentie dat een auteur door vakgenoten wordt geciteerd.

(Een psychologisch forum buigt zich over dit voorstel:

Een tegenstander tekent bezwaar aan. ‘Zo oefenen redacties een te grote invloed uit op het al dan niet uitvoeren van onderzoek.’

            Achterin de zaal wordt geroepen. ‘Ja, maar die macht hebben ze nu ook al. Zij bepalen wat wel en niet wordt gepubliceerd.’

            Een twijfelaar roept: ‘Maar hoe bepaalt een redactie welke theoretische invalshoek belangrijk is en welke niet?’

            Een andere twijfelaar zegt: ‘Nu weten ze toch ook welke resultaten belangrijk zijn en welke niet. Ik zou weleens willen weten wie bepaalt welk tijdschrift belangrijk is en welk niet.’

            Weer een ander werpt tegen dat het naïef is om onderzoek in tweeën in te sturen. ‘Onderzoekers wachten heus niet braaf het oordeel van een redactie af en voeren gewoon het onderzoek uit zoals ze dat in gedachten hadden. En als de resultaten tegenvallen, dan worden desnoods ad hoc hypothesen bedacht, resultaten wat fraaier gemaakt door de tegenvallende weg te laten en meer van zulke sloppy science-praktijken. Dat in twee delen insturen is dan puur pro forma. We moeten blijven publiceren, en het liefst zo veel mogelijk.’

            Iemand voor in de zaal bast: ‘U begrijpt de essentie van het voorstel niet. Misschien is het wel dé manier tegen de overdaad aan publicaties.’

            Een voorstander, misschien de bedenker, voelt zich gesterkt. ‘Statistische significantie komt niet meer op de eerste plaats, het belang van theorievorming wordt zo benadrukt. Een onderzoeker dient eerst zijn theorie en hypothesen te specificeren, en daarna de empirische houdbaarheid te toetsen. Zo wordt duidelijker inzicht verkregen in de vroege fasen van het onderzoeksproces.’

            Een veelbelovende student trekt de stoute schoenen aan. ‘Als er iets moet veranderen, waarom moedigen redacties dan niet replicatieonderzoek aan? Of waarom wordt het convergerend operationalisme, waar Beijk (1977) een mooi artikel over schreef, niet meer benadrukt? Dat is een verfijnde vorm van replicatie.’

            Jaap van Heerden staat op. ‘In mijn boek Tussen Psychologie en Filosofie uit 1977 betoogde ik al dat de essentie van convergerend operationalisme neerkomt op het prevaleren van theorievorming boven het onsamenhangend verzamelen van feiten. Overigens werd dat ook tijdens uw colleges behandeld, jongeman.’

            Een andere oude rot in het vak, die weet van de hoed en de rand, vindt het voorstel artikelen in tweeën in te leveren in theorie wel aardig, maar: ‘Daar is een mentaliteitsverandering voor nodig. Laat bijvoorbeeld de nieuwe lichting studenten niet eerder aan hun afstudeeronderzoek beginnen alvorens hun inleiding en onderzoeksopzet zijn goedgekeurd. Kijk eens wat dat oplevert.’

            En van Kolfschooten (1995) herhaalt zijn suggesties. ‘Vraag onderzoekers te rapporteren welke technische problemen zij ondervonden. En laat onderzoekers hun selectiecriteria onthullen waarom resultaten weggelaten zijn. Dat kan een onderzoek in een heel ander daglicht zetten.’

Het bleef nog lang rumoerig in de zaal.)

Meer replicatie

Hofstee vindt fraude in de psychologie geen structureel probleem (zie van Kolfschooten, 1993, p. 8/9). In de medische wetenschap lijkt het probleem van fraude structureler. Deze indruk wordt versterkt door het boek van Van Kolfschooten (1993) en de aandacht die het NTVGer aan besteedt. Een verklaring kan zijn dat de belangen en toepassingen van psychologisch onderzoek in het algemeen minder verstrekkend zijn dan die van medisch onderzoek. De affaire-Buck, die het Aids-medicijn ontdekt meende te hebben, is wat dat betreft een treffend voorbeeld.

            Wellicht is het voor De Psycholoog, Pedagogische Studiën, Het Nederlands Tijdschrift voor de Psychologie en Tijdschrift voor Onderwijsresearch zinvol een soortgelijk onderzoek naar dubbelpublicaties doen, zoals Barnard en Overbeeke (1993) hebben gedaan. Zij stellen terecht dat het belang van onderzoeksresultaten wordt overschat als lezers verschillende artikelen over hetzelfde onderzoek aanzien voor publicaties over verschillende onderzoeksprojecten. Ook worden citatietellingen minder betrouwbaar. Bovendien wordt andere onderzoekers de toch al schaarse ruimte ontnomen.

            Deze bezwaren zijn niet anders voor psychologisch onderzoek, hoewel bijvoorbeeld Hoogstraten tegen van Kolfschooten (1993) toegeeft dat hij artikelen soms met opzet twee keer publiceert. Zijn onderzoek kan van belang zijn voor tandheelkundigen én psychologen. Hoogstraten acht het ook legitiem een artikel in een Nederlands én buitenlands tijdschrift te publiceren. Wanneer tijdschriftredacties besluiten tot een onderzoek naar dubbelpublicaties, dan lijkt het eveneens zaak goed na te gaan of dezelfde resultaten in een ander theoretisch kader worden geplaatst; dat zal uit de aangehaalde referenties blijken. Mogelijk kan dat bij psychologisch onderzoek ruimhartiger dan bij medisch.

            Het mag best nogmaals gezegd. Psychologische theorievorming is gebaat bij meer replicatie. Replicatie geeft de werkelijke significantie van een bevinding aan, draagt bij aan algemene, theoretische geldigheid. Een opnieuw bevestigd resultaat heeft een grotere generaliseerbaarheid (Judd, Smith & Kidder, 1991; Cohen, 1994). Het onderzoek van Milgram naar gehoorzaamheid is wat dat betreft illustratief.

Een minder bekend voorbeeld – weer een zelfcitering! – komt van Busato, Prins, Hamaker en Visser (1995). Zij repliceerden het leerstijlen-onderzoek van Vermunt (1992) en vonden een vrijwel identieke factorstructuur. Dat pleit voor de theorie van Vermunt. Naast het replicatie-gedeelte gingen zij de relatie tussen leerstijlen en intelligentie na, en voegden daarmee een niet eerder onderzocht theoretisch aspect toe. Moge dit een voorbeeld zijn dat replicatieonderzoek niet alleen het simpelweg navolgen is van de creativiteit van andere onderzoekers, maar juist het voortbouwen daarop.

Referenties

Anderson, C. (1993). Michigan gets an expensive lesson. Science, 262(5130), 23.

Barnard. H., & Overbeeke, A.J.P.M. (1993). Dubbelpublicatie van oorspronkelijke stukken in en uit het Nederlands Tijdschrift voor Geneeskunde. Nederlands Tijdschrift voor Geneeskunde, 137(12), 593-597.

Beijk, J. (1977). Convergerend operationalisme; een dwingende strategie voor de gedragswetenschappen. Nederlands Tijdschrift voor de Psychologie, 32, 173-185.

Busato, V.V. (1995). Misleidende informatie. Een reactie op Knippenberg en Van Luijtelaar. De Psycholoog, 30, 235-236.

Busato, V.V., Prins, F.J., Hamaker, C., & Visser, K. (1995). Leerstijlenonderzoek gerepliceerd; de samenhang tussen leerstijlen en intelligentie. Tijdschrift voor Onderwijsresearch, 20, 332-340.

Cohen, J. (1994). The earth is round (p <.05). American Psychologist, 49, 997-1003.

Eysenck, H.J., & Kamin, L. (1982). Intelligentie. Erven of verwerven. Een confrontatie. Uitgeverij Het Spectrum: Utrecht/Antwerpen.

Freedland, K.E., & Carney, R.M. (1992). Data management and accountability in behavioral and biomedical research. American Psychologist, 42(1), 104-107.

Jansen, A. (1993). Publicatieterreur. De Psycholoog, 28, 31.

Jong, J.W. de (1993). Wangedrag in het biomedisch onderzoek. Nederlands Tijdschrift voor Geneeskunde, 137(28), 1408-1413.

Holden, C. (1987). NIMH finds a case of serious misconduct. Science, 235(4796), 1566-1567.

Hoogstraten, J. (1979). De machteloze onderzoeker: voetangels en klemmen van sociaal-wetenschappelijk onderzoek. Meppel/Amsterdam: Boom.

Judd, C.M., Smith, E.R., & Kidder, L.H. (1991). Research methods in social relations (sixth edition). Fort Worth, TX: Holt, Rinehart and Winston.

Knippenberg, H., & v. Luijtelaar, G. (1995a). Een methode voor het identificeren van topauteurs in de Nederlandse psychologie. De Psycholoog, 30, 8-13.

Knippenberg, H. & v. Luijtelaar, G. (1995b). Spoken. Reactie op Busato. De Psycholoog, 30, 329.

Kolfschooten, F. v. (1993). Valse vooruitgang. Bedrog in de Nederlandse wetenschap. Amsterdam: Veen.

Kolfschooten, F. v. (1995). Schone schijn: plagiaat en fraude in de wetenschap. Hollands Maandblad, 37(2), 3-8.

Levin, J.R., & Marshall, H.H. (1993). Editorial. Journal of Educational Psychology, 85(1), 3-6.

Overbeeke, A.J.P.M. (1994). Wangedrag in medisch-wetenschappelijk publiceren. Nederlands Tijdschrift voor Geneeskunde, 138(36), 1822-1826.

Poletiek, F. (1995). Quality assessment en dergelijke. Reactie op Van Luijtelaar, Vossen en Hofstee. De Psycholoog, 30, 30-31.

Riordan, C.A., & Marlin, N.A. (1987). Some good news about some bad practices. American Psychologist, 42(1), 104-107.

Vermunt, J.D.H.M. (1992). Leerstijlen en sturen van leerprocessen in het hoger onderwijs. Amsterdam/Lisse: Swets & Zeitlinger.