A két, ránézésre igen eltérő megközelítés szembenállásának természetes magyarázata volna, hogy a szakfolyóirat a kutatási területet, az „elméletet” képviseli, míg az érintett közvélemény annak alkalmazását, a gyakorlatot illeti az elnevezéssel. Az ugyanakkor, hogy miként lesz/lehet a kommunikáció vizsgálatából minőség-ellenőrzés és hogy a tudománymetria elmélete és gyakorlata valóban ezzel jellemezhető-e, korántsem triviális. Ebből a kutatás-fejlesztés szférájában mindig aktuális kérdéskörből nyújt ízelítőt az alábbi áttekintés.

Indikátorok, mutatók, listák és rangsorok: értékelő bibliometria

Amennyiben a tudománymetria alapfeladata a tudomány szerveződésének, működésének kvantitatív vizsgálata, akkor a tudományos tevékenység mérhető, számszerűsíthető indikátoraira van szüksége. Mivel a kutatás eredményei – és meglepően sok további jellemzője – a legáltalánosabb esetben a szakmai közleményekben, publikációkban, vagyis a tudomány formális kommunikációjában érhetők tetten, a kívánt indikátorok ezekre alapozhatók. A tudománymetria ezért klasszikusan és mindenekelőtt bibliometria. Az indikátorok, vizsgálati alapegységek sikeres azonosítása mellett szükség van azonban egy másik alappillérre is: hozzáférhető adatokra. A terület alkalmazása iránti, évtizedek óta fokozódó igényt jól jellemzi, hogy mára igen népessé és aktívvá vált a tudomány metaadatainak nemzetközi piaca, meghatározó szolgáltatókkal: az ’50-es években Philadelphiában létrejött ISI (Institute for Scientific Information) leszármazottjaként közismert Web of Science-adatbázisok vagy a szintén nagy kiadóvállalat működtette Scopus nemzetközi, sok tízezer szakfolyóiratot indexelő ún. citációs adatbázisai a mai tudománymetria sztenderd adatforrásai. Ezek a nagy léptékű források a nemzetközi tudományt igyekeznek reprezentálni (historikusan is), ezért nemcsak adatot, hanem egyfajta referenciahalmazt is szolgáltatnak a tudomány szereplőinek (országok, intézmények, szakfolyóiratok és – bizonyos feltételek mellett – az egyéni kutatók) összehasonlító vizsgálatához, ami a nemzetközileg látható tudományos tevékenységet illeti. A szakterületek egy releváns része ugyanakkor, természeténél fogva, kevésbé nemzetközi (jellemzően a humán és társadalomtudományok bizonyos szegmenseit szokás ide sorolni): egyebek között ezért folyamatos a törekvés a megbízható, országos gyűjtőkörű adatbázisok fejlesztésére is, amilyen a Magyar Tudományos Művek Tára (MTMT).

A publikációs tevékenység egyik nyilvánvaló kvantitatív vizsgálati módja méretbeli kérdésekre vonatkozik. A klasszikus tudománymetria egyik alapkérdése a tudományos szakirodalom méretbeli alakulásának szabályszerűségeit veszi célba (pl. időbeli növekedésének matematikai modellezése, eloszlásának vizsgálata, következményei). A szakterületet elsősorban ezen a ponton állítja szolgálatába a tudománypolitika és kutatásértékelés: a tudomány teljesítményértékelésének jól értelmezhető, egyszerű és az adatforrásokból – elvileg – biztonságosan előállítható mutatója a kibocsátás, a szakmai közlemények száma. (Az „elvileg” közbevetés fontos figyelmeztetés: a nagy nemzetközi adatbázisok alapján történő adatgyűjtés és azok szakszerű feldolgozása önmagában is számos buktatóval terhelt, és szakértelmet igényel, a „házilag készített gyorsstatisztikák” felettébb félrevezetőek lehetnek.)

A kibocsátás a legkülönfélébb agg­re­gá­ciók­ban vizsgálható (egyének, intézmények, országok, folyóiratok stb.). A mennyiség mellett az értékelés másik alapvető szempontja a minőség. A tudománymetria erre vonatkozóan specifikus indikátort szolgáltat, amely a tudomány működésmódjából adódik: a publikációk minőségét elsősorban a tudományra gyakorolt hatásukból vezeti le. A hatás mérésére pedig az idézést (citációt) mint mérhető, számszerűsíthető kapcsolatot alkalmazza.

A bibliometriának a kutatásértékelés hátterében álló részterülete (az ún. értékelő, evaluatív tudománymetria) ennek megfelelően a produktivitás [performance] és hatás [impact] dimenziójában vizsgálódik. A tudományos közvélemény legtöbbször ennek adminisztratív vetületével találkozik, amely számára a publikációs és idézési listák alapján való megítélés, rangsorolás stb. terhét hordozza. A szakterület és (ideális esetben) alkalmazása azonban nem leíró statisztikákban végződik, hanem ott kezdődik. Ahhoz ugyanis, hogy valós képet kapjunk egy-egy szereplő (pl. intézmény) teljesítményéről, hatásáról és hatékonyságáról, figyelembe kell vennünk mind az indikátorok viselkedését, ami a tudomány erre irányuló modellezésével ismerhető meg leghatékonyabban, mind pedig a szereplő kontextusát.

Ma már szinte köztudomású például, hogy az egyes tudomány-, sőt szakterüle­tek mérete, kibocsátási és idézési rátája egé­szen különböző (a biomedicina területén a közösség szokásrendszere: egy kísérlet – egy cikk és, részben ennek megfelelően, cikkenként sok hivatkozás megelőző eredményekre; az ökológia már jóval kevésbé hivatkozásintenzív; a távolabbi matematika területén ugyanakkor keveset szokás hivatkozni). A különböző területekről származó szereplők nyers statisztikáinak összehasonlítása már csak ezért sem kielégítő méréstechnika. További példaként hozható egy másik alapmegfigyelés az indikátorok természetére vonatkozóan: az idézéseknek – mint hatásmutatóknak – sajátos, időbeli viselkedése van. Értelemszerűen mindig a szakcikk megjelenését követik és időben halmozódnak. A fiatalabb közleményeknek ezért jellemzően kevesebb idézésük van, ez viszont nem azok minőségével, hanem az idézésre rendelkezésre álló idővel függ össze. Ebből a két, viszonylag egyszerű példából is kitűnik, hogy megfelelő produktivitás- és hatásmutatók előállításához, illetve a mindenkori kérdéshez illeszkedő használatukhoz számos tudományszociológiai és statisztikai tényezőt kell kezelni, a torzításokat korrigálni.

Az evaluatív tudománymetria lényegében ezek információtudományi modellezésével és az indikátorok kialakításával foglalkozik.
Népszerűségük okán érdemes két ilyen indikátort, a folyóiratok minőségét mérő impakt faktort, illetve az (eredetileg) egyéni kutatói eredményességet jellemző ún. Hirsch-indexet megemlíteni. Az impakt faktor egy alapvető korrekciós technika, az ún. normalizálás eredménye, és (legismertebb változatában) egy-egy folyóirat átlagos idézettségét tükrözi évenként, az egy (megelőző két évben megjelent) cikkre jutó citációk mennyiségét. A mutató jelentésének, viselkedésének vizsgálata, elemzése, kritikái mára vastag könyveket töltenek meg (lásd Braun 2007), minthogy alakulását számos statisztikai-módszertani (pl. a „ferde eloszlások átlagainak problematikája és mítoszai” – vö. Glänzel 2009 –, vagy a hivatkozási időablak megválasztása, a folyóiratok mérete stb.), technikai (előállítása a megfelelő citációs indexekből) és tudományszociológiai tényező befolyásolja. Az utóbbiak alapján szokás a népszerűség mutatószámának nevezni, minthogy nem tesz különbséget idézések között azok forrása, például szakterülete szerint („anything goes”). Mára számos finomítása és alternatívája használatos, amelyek például algoritmikusan differenciálnak a különböző helyről érkező hivatkozások között, így a népszerűség helyett a szűkebb szakmai presztízs kimutatására is hivatottak (pl. Source Normalized Impact, SNIP).

Publikációs hálózat

A másik, nagy népszerűségnek örvendő mutató az ötletgazdájáról elnevezett Hirsch-index. A javaslat eredetileg az egyén jellemzésére irányult, de bármilyen idézett publikációkkal rendelkező szereplőre vonatkoztatható (intézmény, ország, szakterület stb.). Szellemessége főként abban áll, hogy kiegyensúlyozottan igyekszik figyelembe venni mindkét oldalt (produkció, hatás): ha egy kutatónak 3 a Hirsch-indexe, az annyit tesz, hogy három olyan közleménye van összesen, amelyek egyenként legalább háromszor voltak idézve; a többi közleménye, akármennyi is van, ennél kevesebbszer. Ha tehát valaki csak egyetlen, de nagyon sikeres cikket ír, sok száz idézéssel, H-indexe 1 marad (így a „one-hit wonder” típusú extrém esetek nem kapnak automatikusan magasabb helyezést). Hogy ez mennyire méltányos, arról persze szintén megoszlanak a vélemények: a H-index például nem veszi figyelembe, hogy az a bizonyos három cikk hány további citációt kapott (extrém példa: két kutató H-indexe három, de az egyik száz további, a másik ténylegesen három hivatkozást kapott ezekre a cikkekre). Ennek ellensúlyozására való az E-index (amely éppen ezt méri), illetve számos további változat és finomítás, amely a torzítások korrekciójára törekszik.

Hirsch-index

A konkrét esetekben célszerű tehát a különböző indexek, mutatók együttes alkalmazása. Ezzel el is érkeztünk az értékelő bibliometria talán legfontosabb, korszerű elvéhez: a sokdimenziósság kritériumához. Általános tapasztalat, hogy nincs „tökéletes” mutató és nincs „univerzális megoldás”. Az értékelő modellt, a mutatók kiválasztását minden esetben a kérdésfeltevéshez kell igazítani. A sokdimenziós megközelítés különösen hangsúlyos a tudománymetriai rangsorok (pl. tudománymetriai szempontú intézményi rangsorok) szempontjából.

A rangsorolásra használt mutatók viselkedése egyenként is vizsgálat tárgya, annak megítélésekor például, hogy két helyezés közti mennyiségi különbség valóban mérvadó-e. Az viszont, hogy miként lehet egy sokváltozós mutatószett alapján egydimenziós sorrendet képezni, az információtudomány eszköztárának széles körű mozgósítását igényli.

Hálózatok, mintázatok és dinamika: strukturális tudománymetria

Amint az eddigiekből kiviláglik, az értékelő tudománymetria nem nélkülözheti a tudomány tényleges szerveződésének, működésének vizsgálatát. Ahhoz például, hogy figyelembe vehessük a szakterületek hatását az értékelésben, szükség van a szakterületek kvázi objektív, adatalapú azonosíthatóságára és elhatárolására vagy éppen összefüggéseik meghatározására: meg kell tudni mondani, mi az a szakcikkhalmaz (referenciahalmaz), amelynek jellemzőihez képest egy cikket, szerzőt vagy intézményi portfóliót értékelhetünk. A tudomány empirikus vizsgálata természetesen nem csak az értékeléshez szolgáltat alapot: a tudományos trendek elemzése (tudománydinamika), a kutatási „frontvonalak” meghatározása, a kutatási együttműködések hatásának feltérképezése, hogy csak néhányat említsünk, mind alapvető bemenetei az informált tudománypolitikának és stratégiának. Ezek az – értékelést is részben megalapozó és azzal szoros összefüggésben lévő – szakterületi irányok az ún. strukturális tudománymetria összefoglaló néven tárgyalhatók.

A strukturális tudománymetria mind célkitűzéseit, mind pedig módszertani eszközeit illetően igen változatos terület. Példaként érdemes két intenzíven fejlődő részterületét említeni: az informált kutatásértékelést támogató ún. tudománytérképezést, valamint a tudománypolitikában alapvető tudományos együttműködések, hálózatok elemzését. A tudománytérképezés egyik fő célkitűzése a dinamikusan változó nemzetközi tudomány mindenkori szak- és tudományterület-rendszerének felmérése, azonosítása. Bibliometriai szempontból egy szakterület természetesen publikációk, illetve, praktikusan, folyóiratok egy csoportjával modellezhető. Az eljárás eredményeként létrejövő ún. globális tudománytérkép éppen azokat a referenciakategóriákat, folyóiratcsoportokat hivatott biztosítani, amelyeken belül szakterületi sztenderdek (pl. hivatkozási vagy produktivitási ráták) érvényes módon megállapíthatók, ezeken keresztül pedig értékelő összehasonlítások végezhetők.

A referenciarendszerek szerkesztéséhez ugyanazok az indikátorok szolgáltatnak alapot, amelyek az értékeléshez, jellemzően a citációk, hivatkozások. Ebben az esetben a hivatkozás valóban kommunikációs (és nem értékmérő) funkciójában használatos. A módszer alapja, hogy az egymással intenzív hivatkozási kapcsolatban álló, egymást vagy ugyanazokat idéző folyóiratok egyazon szakterületet képviselnek. Mérhető és precíz formájában a tudománytérkép egy hálózat (gráf), amelynek elemei a folyóiratok (vagy -kategóriák). A szakterületek azonosítása ezek után a hálózat elemzésével történik.

A hálózatelemzés más vonatkozásban is meghatározó elméleti kerete a korszerű tudománymetriának: a modern tu­do­mány­metria elsődleges érdeklődése valójában éppen a publikációk kapcsolatrendszerének elemzése, az abból levonható következtetések feltárása. A legújabb hatásmérő indikátorok, például az impakt faktor fent említett vetélytársai (vagy sokkal inkább: kiegészítői) a folyóiratok teljes hivatkozási hálózatának szerkezetét elemzik a hatás kvantifikálásához, hogy képesek legyenek súlyozni az idézőket a hálózat többi részéhez való (közvetett és közvetlen) kapcsolódásuk szerint.

A tudománymetriai hálózatelemzés legtermészetesebb módon azonban a kutatási együttműködések vizsgálatában jelenik meg. Ebben a formájában a társas kapcsolathálók tudománya [social network analysis] lapol át a bibliometriával. A szakcikkek a legtöbb tudományterületen és esetben sokszerzős művek, együttműködésben készülnek.

Kapcsolati hálók

A szakcikkadatbázisok alapján a kutatóközösségben szerveződő együttműködési hálók (társszerzői hálózatok) rekonstruálhatók, és elemezhetővé válnak olyan kérdések, mint hogy mekkora kiterjedésű, milyen szerkezetű együttműködések jellemzik a területet, kik annak meghatározó, „központi” vagy éppen mediátor szerepű résztvevői. A tudománypolitika számára releváns kérdésfeltevés például, hogy a hálózati szerepek miként befolyásolják a produktivitást – ezen a ponton közgazdaság-tudományi (ökonometriai) modelleknek adva teret, amelyek például a hálózati szerepek és a kibocsátás mérete között igyekeznek statisztikai összefüggést teremteni.

Hogyan jellemezhető tehát a korszerű tudománymetria?

Mindezek alapján látható és elmondható, hogy manapság a tudománymetria a tudomány modellezésének tudománya, amely továbbra is széles és egyre kifinomultabb eszköztárat szolgáltat a kutatásértékelés számára. Módszertani szempontból nyitott: a matematikai statisztika, hálózatelmélet, adat- és szövegbányászat, adatbázis-tervezés, az információtudomány számos más területe szerepel arzenáljában, miközben átfedést mutat az ökonometriával, a tudományszociológiával és még számos területtel. Egyik legkritikusabb és leghangsúlyosabb pontja természetesen az alkalmazása: kellő körültekintéssel és szakszerűen alkalmazva valóban nagy haszna vehető a szakpolitikák minden szintjén.

Hivatkozások
Braun Tibor (szerk.): The Impact Factor of Scientific and Scholarly Journals: Its Use and Misuse in Research Evaluation. Akadémiai Kiadó, 2007.

Glänzel, Wolfgang (2009): A tudomány­metria hét mítosza – költészet és valóság. Magyar Tudomány, 170(8), 954–964.