Aktuality

24.08. - Virtuální prohlídka Biofyzikálního ústavu AV ČR


08.06. - Gratulace Soni Legartové

Ředitelka BFÚ srdečně gratuluje Soni Legartové k získání Prémie Otto Wichterleho

Nejvíce citované publikace českých výzkumných institucí v různých oborech

Cílem této analýzy je odhadnout na základě nejcitovanějších klíčových publikací, které výzkumné organizace ČR nejvíce přispívají k prestiži ČR v různých oborech. Pro jednotlivé organizace stanovíme také součty nejcitovanějších prací přes různé obory. Tam, kde je to možné, odhadneme produktivitu některých organizací nebo týmů relativně mezi sebou. Tato analýza představuje určitý pohled na výkonnost výzkumných institucí nebo týmů, produktivita - pokud je stanovena - je určena pouze ve vztahu k analyzované veličině, tj. počtu klíčových publikací v dané frakci nejcitovanějších prací ČR. To je významný parametr, ale zcela jistě není jediný, který je potřeba použít pro stanovení celkové výkonnosti, perspektivy a nakonec velikosti dotace daného subjektu.

PROČ NEJCITOVANĚJŠÍ PUBLIKACE

Význam vědecké práce v základním výzkumu je dán využitím výsledku autora dalšími vědci. Počet citací je tedy určitou mírou originality a kvality publikace. Počet citací narůstá s časem od zveřejnění práce, a proto je vhodné porovnávat pouze publikace určitého roku. Analýzu lze provádět až po určité době (několik let). V tomto ohledu je lepší impakt faktor (IF) časopisu, který je k dispozici ihned v okamžiku zveřejnění práce. IF však představuje pouze určité očekávání a často je počet skutečných citací podstatně odlišný od očekávání (dokonce i práce publikované v Science nebo Nature mají často nízký počet citací). Z tohoto důvodu je u starších prací vhodnější používat získaný počet citací a nikoliv IF.

V této souvislosti se diskutuje také otázka autocitací. Z pragmatického hlediska vzato - u velkých souborů jako jsou publikace celé ČR není jednoduše možné odstranit autocitace. Z druhé strany to ani neni nutné, protože při vyšším počtu citací hraje příspěvek autocitací menší roli. My se budeme zajímat o nejcitovanější práce v jednotlivých oborech, kde bude vliv autocitací potlačen.

PUBLIKACE ČR

S využitím WoS jsme vytvořili soubory publikací na kterých se podílí autoři z ČR za každý rok v časovém rozmezí  2005-2009 pro ČR. V souborech jsou všechny typy dokumentů a veškeré možné údaje o každém z nich. Tento soubor se tvoří po 500 publikacích (lze exportovat z "Marked listu") a následně se tyto výstupy sloučí do jedné excelovské tabulky. Získali jsme tedy 5 souborů pro každý rok zvlášť. Dělali jsme to takto proto, poněvadž počty citací jsou závislé na době od zveřejnění práce (jak už bylo řečeno)  a pro jednotlivé roky se liší. Získáme tak navíc představu o časovém vývoji získaných výsledků.

TYP DOKUMENTU

V těchto tabulkách seřadíme publikace dle sloupce L, tj. podle typu publikace a ponecháme jen práce, které začínají slovem Article nebo Review. Odstraníme tedy vše od Bibliography až po poslední Proceedings. Na konci odstraníme také „Review, Book Chapter“. Odstraněné soubory mají nula nebo málo citací a většina z nich (Meeting Abstracts) nejsou plnohodnotnými publikacemi.

2005-AR

2006-AR

2007-AR

2008-AR

2009-AR

OBOR PUBLIKACE

Počet oborů (subject categories) na WoS je dosti velký (>170). Některé časopisy mají navíc přiřazeno několik oborů. Pro naší oborovou analýzu přiřadíme každé publikaci jeden ze 170 oborů a to ten, ke kterému má práce nejblíže, tj. obor časopisu, kde byla zveřejněna; pokud má časopis přiřazeno více oborů, vezmeme ten první. Je to určité zjednodušení, ale zřejmě spravedlivější než analýza bez ohledu na obor. Zde je třeba uvést, že jsou zastánci i takového přístupu (tj. nebrat zřetel na obor). Zdůvodnění je v tom, že věda je jedna, každý má možnost vybrat si v čem dělá, různá citovanost v různých oborech odráží odlišný význam oboru pro společnost pro kterou věda slouží. Výzkum v málo citovaných oborech může být snazší. "Zrovnoprávnění" oborů pak může vést k tomu, že nám přibude málo citovaných a tím málo potřebných oborů a naopak vysoce kompetitivní obory, které jsou "žádané" nebudou u nás rozvíjeny. Oba pohledy (oborově závislý a nezávislý) na výzkum je zřejmě potřeba brát v úvahu při zvažování co a jak podpořit.

SPOLEČENSKÉ VĚDY NEBUDEME ANALYZOVAT

Hodnocení výkonnosti v oblasti společenských věd na základě počtu citací není přijato natolik jednoznačně jako u věd přírodních. Počty citací bývají nízké a jsou proto vystaveny velkým fluktuacím. Kromě toho česká témata nemusí být jednoduché publikovat ve světové literatuře.  Z těchto důvodů nebudeme společenské vědy dále v analýze uvažovat a odpovídající soubory smažeme.

PUBLIKACE KLÍČOVÉ A VZNIKLÉ VE SPOLUPRÁCI

Publikace může vzniknout na půdě jednoho pracoviště nebo může vzniknout ve spolupráci dvou, či několika pracovišť. Mateřské pracoviště, tj. to, kde vznikla významná část práce důležité pro danou publikaci, se obvykle pozná podle korespondujícího autora. V převážné většině případů je také první autor ze stejného pracoviště jako korespondující autor. Jako KLÍČOVÉ publikace určité země, organizace nebo týmu budeme označovat takové práce, kde je korespondující autor z této země, organizace nebo týmu.  Klíčové publikace jsou zřejmě důležité, protože odrážejí schopnost našich vědců přijít na významné zjištění a publikovat tento výsledek v prestižním časopise.

Podle afiliace korespondujícího autora budeme také odlišovat publikace, které vznikly v zahraničí s příspěvkem našeho autora (autorů) od těch, které byly vytvořeny doma (v ČR).  Práce, které vznikly v zahraničí budeme označovat "VZNIKLÉ VE SPOLUPRÁCI".  V tabulce publikací ČR pro určitý rok vezmeme sloupec označený RP (reprint author) a nalezneme všechny práce, kde je v adrese koresp autora slovo "czech". Tím dostaneme dva soubory, které následně analyzujeme zvlášť. Důvody jsou tyto: (i) úroveň výzkumu je v ČR podstatně nižší než ve vyspělých zemích a bylo by nespravedlivé porovnávat citovanost našimi autory vyprodukovaných publikací s publikacemi, které píše vědec v rozvinuté zemi (počty citací jsou u těchto publikací jsou v průměru podstatně vyšší); (ii) pro účely financování vědy potřebujeme hodnotit spíše efektivnost produkce v ČR vyprodukovaných prací, kde utratí největší část peněz vyčleněných na výzkum, než hodnotit spolupráci; (iii) na publikacích vzniklých ve spolupráci je často více (mnoho) zahraničních autorů a malý počet (často jeden) autor z ČR, který byl např. na zahraničním pobytu - tyto publikace  často nevypovídají o schopnosti našich vědců vytvořit kvalitní práci.

SEŘAZENÍ PUBLIKACÍ PODLE OBORŮ, NALEZENÍ NEJCITOVANĚJŠÍCH PRACÍ VE VŠECH OBORECH

Pro každý obor budeme porovnávat publikace zvlášť. Seřadíme publikace dle oborů a ve druhé úrovni podle počtu citací (sloupce BH a AB v excelu, obory abecedně, citace dle počtu od největšího).  Frakci nejvýše citovaných prací pro daný obor v ČR (1/f) budeme měnit, abychom získali přehled o chování výsledků analýzy v závislosti na tomto parametru (1/f bude od 1/3 do 1/10). Při malém počtu prací v daném oboru (menším než je f), nebudeme dále analýzu provádět protože výsledek by mohl být zavádějící. Obory s nízkým počtem publikací (pod 30) se tedy nevyhodnotí. V souboru ponecháme pouze 1/f  frakci publikací s nejvyšším počtem citací v každém roce, pro klíčové publikace a práce vzniklé ve spolupráci zvlášť.

2005 - nejcitovanější třetina

2005 - nejcitovanější desetina

2006 - nejcitovanější třetina

2006 - nejcitovanější desetina

2007 - nejcitovanější třetina

2007 - nejcitovanější desetina

2008 - nejcitovanější třetina

2008 - nejcitovanější desetina

2009 - nejcitovanější třetina

2009 - nejcitovanější desetina

 

VYTVOŘENÍ SOUBORŮ NEJCITOVANĚJŠÍCH PUBLIKACÍ PRO JEDNOTLIVÉ ORGANIZACE A OBORY

Nejcitovanější práce v jednotlivých oborech přiřadíme výzkumným organizacím, které nalezneme podle sloupce RP u klíčových prací (přiřadíme pouze organizaci, ze které je korespondující autor) a podle sloupce C1 u prací vzniklých ve spolupráci. Organizace jsme očíslovali. Správně bychom měli publikace dělit tak, aby každé participující organizaci byla přiřazena určitá frakce hodnoty publikace podle počtu autorů a jejich podílů na publikaci. To je však obtížné udělat, proto jsme v prvním kroku celou hodnotu publikace přiřadili organizaci, ze které je korespondující autor; respektive u spoluprácí se zahraničím je hodnota práce přiřazena českému autorovi, který se publikaci podílí. Tím jsme získali tabulky klíčových publikací v nejcitovanější frakci pro jednotlivé organizace a následně také tabulky počtu těchto publikací. Výzkumné organizace tedy mají každá více oborů (řadu oborů) a v každém oboru se srovnávají počty citací pouze mezi sebou a jen u českých publikací, event. u prací vzniklých ve spolupráci se zahraničím a jen v daném roce.

ORGANIZACE NEJLEPŠÍ V DANÉM OBORU; PRODUKTIVITA ORGANIZACE

Soubory pro období 2005-2009 sloučíme, nebot publikace už máme vyhodnocené uvnitř oborů a přiřazené institucím (viz soubory 2005-2009, soubory mají až 32 Mb). Organizace produkující v jednotlivých oborech lze seřadit podle počtu publikací v těchto oborech a podívat se tak, které organizace mají v ČR v daném oboru dobré postavení. Součty počtu prací v nejcitovanější frakci pro různé obory a danou organizaci lze sečíst a dostaneme tak určité celkové vyhodnocení dané organizace. Provedeme-li normování na počet výzkumných pracovníků (pro ústavy AV ČR jsou tyto hodnoty ve výroční zprávě), dostaneme odhad produktivity organizace.  Přehled oborů a nejvýznamnějších výzkumných organizací (ve smyslu největšího počtu citovaných klíčových prací) pro daný obor je uveden v souboru "Nejvýznamnější výzkumné institutce v jednotlivých oborech".

2005-2009 klíčové - nejcitovanější třetina

2005-2009 klíčové - nejcitovanější desetina

Nejvýznamnější výzkumné instituce v jednotlivých oborech

 

POROVNÁNÍ VÝSLEDKŮ PŘI RŮZNÉM STUPNI NÁROČNOSTI HODNOCENÍ

Vzniká otázka jaká frakce nejcitovanějších prací je vhodná pro analýzu. Porovnali jsme výsledky pro třetinu a desetinu nejcitovanějších publikací. Toto porovnání je provedeno v souboru " Porovnání výsledků při různém stupni náročnosti". Jsou zde porovnávány pouze počty klíčových publikací, které se dostaly do nejcitovanější frakce. Vidíme, že k určitým změnám v pořadí dochází, tj. ústavy mohou produkovat více prací s nižší kvalitou nebo naopak. Je důležité nastavit vhodně náročnost hodnocení, bychom o event. dalším financování rozhodli co nejlépe. 

Porovnání výsledků při různém stupni náročnosti

 

HODNOCENÍ TÝMŮ UVNITŘ ÚSTAVU

Publikace dané organizace lze celkem snadno najít a vypsat (např. pro BFÚ je to 142 prací v první třetině nejcitovanějších a 42 prací v desetině nejcitovanějších prací ČR). Vyhodnocení produktivity oddělení BFÚ je provedeno v souboru stejného názvu. Je zde uveden počet citovaných klíčových publikací za 2005-2009 (v třetině a desetině nejcitovanějších prací). Tyto hodnoty jsou normovány na příspěvek, který dostalo oddělení od ústavu na rok 2012 (v %).   Vidíme, že produktivita se liší více než 2x; musíme však mít na mysli to, že se jedná o jeden parametr z více, které určují finanční příspěvek. V ústavním hodnocení se zohledňuje výkonnost v posledních letech s využitím IF, dynamika vývoje součtu IF a citací za posledních 5 let a kvalita citací (počty citací v časopisech s IF nad 10 a nad 20). Zahrnují se v malé míře také pedagogické aktivity a další aktivity jako jsou knihy, členství v radách, počty projektů, organizace konferencí atd. Přesto vidíme, že v ústavu nejsou oddělení, která by nepřispívala k desetině nejcitovanějších prací ČR v některém z oborů WoS (nebo ve více oborech).

Vyhodnocení produktivity oddělení BFÚ

 

HODNOCENÍ PUBLIKACÍ VZNIKLÝCH VE SPOLUPRÁCI

Publikace vzniklé ve spolupráci byly hodnoceny zvlášť, neboť citovanost zahraničních autorů z rozvinutých zemí (převážná část spoluprací) je podstatně vyšší ve srovnání s citovaností našich autorů. To platí i pro publikace zahraničních autorů vzniklé ve spolupráci s našimi vědci. Tak např. když si vezmeme 50 nejcitovanějších prací ČR za rok 2005, zjistíme, že je mezi nimi pouze 10 publikací s korespondujícím autorem z ČR (zatímco tyto práce představují 73% všech publikací, na kterých je ČR uvedena). Podobně je to pro ostatní roky. Při započtení těchto prací do hodnocení naších týmů nebo organizací je tedy potřeba obezřetnosti a význam těchto prací nelze přeceňovat (např. připisovat našemu autorovi celou "hodnotu" takto vzniklé publikace - metodika RVVI - je nesprávné). Je velmi důležité znát příspěvek našeho autora, event pokud práce vznikla v zahraničí, je důležité odhadnout schopnost našeho autora v našich podmínkách v práci pokračovat.

Provedeme analýzu pouze pro desetinu nejcitovanějších prací v období 2005-2009.  Soubor se seřadí dle organizací a vyhodnotí se počet publikací každé organizace dle soupečku U. Provede se korekce pro nejvíce problémových organizací. Součty počtů publikací se počítají dole pod tabulkou a jsou v tabulce na pravé straně od analyzovaných dat. Pokud je na publikaci více našich organizací, započte se jim tato publikace oběma (zjednodušení).

Pro vyhodnocení oborů, ve kterých má ČR významné spolupráce odstraníme mezi čísly organizací 0 a čísla přesahující 73 (počet organizací) - tím se dopouštíme zjednodušení, protože některé publikace budou z další analýzy vyloučeny (pro desetinu nejcitovanějších je to 150 prací ze 750), ale jsou to nejčastěji publikace méně významných výzkumných organizací a v menším počtu případů také práce dvou nebo více spolupracujících organizací (nutno mít tedy na vědomí tuto skutečnost a pro konkrétní organizaci se podívat přímo do sloupečku U v souboru "2005-2009-ve spolupráci-desetina-organizace"). Výsledkem analýzy je opět seznam oborů a pro každý obor seznam organizací s největším počtem prací v horní desetině nejcitovanějších.

2005-2009 - Ve spolupraci - desetina - obory

2005-2009 klíčové i ve spolupráci

Produktivitu oddělení BFÚ lze rovněž vyhodnotit se zahrnutím spolupráce se zahraničními výzkumnými organizacemi

Vyhodnocení produktivity oddělení BFÚ - spolupráce

Dále jsou uvedeny nejcitovanější publikace ústavu:

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000