Koniec fabrík na vedecké články?

Koniec fabrík na vedecké články?

Papermill Alarm je softvér, ktorý slúži na detekciu potenciálne falošných vedeckých článkov podaných do časopisu. Nástroj analyzuje názvy a abstrakty vedeckých článkov a zisťuje v texte prítomnosť znakov podobných ako vo vedeckých článkoch pochádzajúcich z fabrík na články (paper mills: spoločnosti alebo jednotlivci produkujúci vedecké rukopisy na objednávku).

Nástroj vyvinul Adam Day, riaditeľ spoločnosti poskytujúcej dátové vedecké služby, Clear Skies v Londýne. A. Day analyzoval všetky názvy uvedené v citačnej databáze PubMed pomocou svojho softvéru a zistil, že 1 % článkov aktuálne uvedených v databáze obsahuje text veľmi podobný článkom produkovaným fabrikami na články. Nástroj Papermill Alarm nepotvrdí jednoznačne, či je text vyfabrikovaný, ale upozorní na tie články, ktoré by mali byť preskúmané podrobnejšie.

Podľa Daya nie je cieľom jeho analýzy odhadnúť rozsah prítomnosti vyfabrikovaných článkov v rámci databázy PubMed, pretože nástroj dokáže rozpoznať iba články podobné tým, ktoré pochádzajú z už známych fabrík na články. Pričom takýchto tovární na články môže existovať oveľa viac a zároveň legitímne články môžu byť označené kvôli použitiu podobných slov. Autor o svojom nástroji povedal: „Je podobný rybárskej sieti. Nie to je udica.“

Podozrivé rukopisy

Mnoho vydavateľov už používa softvér a iné metódy na detekciu podvodných aktivít a podradných článkov (junk papers). Napríklad niektoré systémy spracovania rukopisov dokážu zistiť a upozorniť na to, ak veľa rukopisov pochádza z toho istého počítača – znak toho, že jedna osoba alebo organizácia by mohla chrliť veľké množstvo článkov. Ale A. Day hovorí, že jeho prístup analýzy textu je nový. Záujem o jeho využívanie prejavilo 6 vydavateľov vrátane vydavateľstva SAGE, kde Adam Day pracuje ako dátový vedec.

Nástroj využíva algoritmus hlbokého učenia na porovnanie jazyka použitého v názvoch a abstraktoch rukopisov s tými, ktoré sú použité v článkoch, o ktorých sa vie, že pochádzajú z fabrík na články. Porovnanie ja založené na zozname  vyfabrikovaných článkov, ktorý zostavili detektívi zameraní na výskumnú integritu (napr. Elisabeth Bik a David Bimler, známy aj pod pseudonymom Smut Clyde). Papermill Alarm používa systém semaforov – priradí červené značky textom s mnohými znakmi podobnými známym článkom z tovární na články, oranžové značky článkom s niekoľkými podobnosťami a zelené značky článkom bez akýchkoľvek podobností.

Zatiaľ máme k dispozícií iba málo odhadov prevalencie vyfabrikovaných článkov. Podľa správy COPE z júna 2022 môžu 2 % rukopisov podaných do časopisov pochádzať z tovární na články. Správa zároveň hovorí, že problém „môže ohroziť a zahltiť redakčný proces výrazného počtu časopisov.“

Podľa Davida Bimlera aj zistenie, že v databáze PubMed môže z tovární pochádzať jedno percento článkov, je „príliš vysoké na to, aby sme sa cítili spokojní.“ A dodáva, že tieto podradné články sú citované a často sa využívajú na podporu zlých nápadov a udržanie bezvýchodiskových výskumných programov.

Skrátené podľa pôvodného článku v angličtine (doi: https://doi.org/10.1038/d41586-022-02997-x). Autor: Holly Else.

Viac o používaní API Papermill Alarm a návod na použitie.

Obrázok: Pixabay