Akademik yayın dalavereleri: Sayılar nasıl şişirilir?

Bu yazılara “Yıldırım’ın aydınlattıkları” başlığını koysam yeridir. Matematikçi Ahmet Yıldırım‘ın üç hafta önce ortaya çıkan olağanüstü üretim listesini inceleyince çok ilginç bir ilişkiler ağı görüyorsunuz. Bu ilişkilerden biri, yayınlarının çoğunda atıf yaptığı Çinli Ji-Huan He, diğeri de tam 115 yayında ortak yazarı olan Pakistanlı Syed Tauseef Mohyud-Din. Bu yazı birincisinin marifetlerine dair; ikinciyi sonraya bırakacağım.

Yeri gelmişken, “Akademik Çürüme Monitörü“nün önceki yazıma katkısına teşekkür ederim; bu yazıyı okumaya sabrı olmayan onu okuyabilir.

Ji-Huan He‘den El Naschie’yi anlatırken bahsetmiştim: Chaos, Solitons &Fractals dergisinin bölge editörü idi. El Naschie ile birbirlerine karşılıklı paslaşmalar yaparak atıf sayılarını astronomik hale getirmişlerdi. CSF‘in foyası meydana çıkınca bütün editör heyeti ile beraber He de uzaklaştırıldı, ama bir yığın başka dergide editörlüğe devam etti. El Naschie Watch sitesi He’nin editörlük yaptığı tam 66 dergi listeliyor.

Dünyanın en önemli bilim kuruluşlarından Society of Industrial and Applied Mathematics (SIAM)‘ın eski başkanı Douglas Arnold ve Kristine Fowler, 2011’de yayınlanan “Nefarious numbers” başlıklı incelemede, tesir katsayısı (impact factor), bilimcilerin değerlendirildiği atıf sayısı ve h-indeksi gibi sayıların bilimsel üretimi ölçmek için kullanılmasını eleştiriyorlar. Bu sayıların nasıl kolayca manipüle edilebildiğine örnek olarak da J-H. He’nin baş editörü olduğu International Journal of Nonlinear Sciences and Numerical Simulation (IJNSNS) dergisini inceliyorlar. Bu incelemeyi biraz etraflıca aktaracağım çünkü çok önemli editörlük istismarı mekanizmalarını görmemizi sağlıyor.

IJNSNS, içeriği açısından, uzmanlar tarafından üçüncü sınıf kabul edilen bir dergi. Buna rağmen tesir katsayısı (impact factor) ölçülerinde 2006-2009 dönemi boyunca her yıl birinci sıraya oturuyor, hem de açık farkla.

Öncelikle tesir katsayısının ne olduğunu hatırlayalım: Institute of Scientific Information (ISI), takip ettiği tüm dergilerde belli bir yılda (mesela 2008) yayınlanan tüm makalelerde, belli bir dergiye (mesela IJNSNS) önceki iki yılda (mesela 2006-2007) kaç atıf yapıldığını sayar. Bu sayının, o dergide o yıllarda yayınlanan makale sayısına bölümü tesir katsayısını verir. Kısaca, bir dergiye geçmiş iki yılda yapılan ortalama atıf sayısıdır.

Tesir katsayısının eleştirilecek yanı çok, ama şimdi dikkatimizi dağıtmayalım. Meraklısı makaleye veya Wikipedia’ya göz atabilir.

2008 yılında IJNSNS’in tesir katsayısı tam 8.91 olmuş. ISI’nin uygulamalı matematik kategorisindeki 175 dergi içinde en yükseği. Onun arkasından Courant Enstitüsü’nün Communications on Pure and Applied Mathematics (CPAM) ve SIAM’ın çıkardığı SIAM Review geliyor. Katsayıları sırasıyla 3.69 ve 2.80. Arada müthiş bir uçurum var.

Nasıl oluyor da uzmanların üçüncü sınıf dediği bir dergi, matematiğin olgun kurumlarının çıkardığı dergileri bu kadar büyük bir farkla geçebiliyor?

Arnold ve Fowler görüyor ki, IJNSNS’in müthiş tesirini yaratan atıfların en büyük kaynağı derginin editör heyeti! En çok atıf yapan kişi baş editör Ji-Huan He‘nin kendisi: 2008’de IJNSNS’e tam 243 atıf yapmış. Ondan sonra en fazla atıf yapan kişi (114 atıf) yine derginin editörlerinden D. D. Ganji. Onlardan sonra da 58 atıfla, sürpriz, bölge editörü El Naschie geliyor. Üç kafadar editör tesir katsayısını belirleyen atıfların üçte birini kendi yayınlarıyla sağlamışlar zaten.

Karşılaştırma olarak, aynı dönemde SIAM Review‘deki en yüksek üç atıfı yapanlar sırasıyla 7, 4, ve 4 atıf yapmış, hiçbiri de editör heyetinde değil.

Peki, üç editör dışındaki atıflar nereden gelmiş? Yine dolaylı olarak editörlerden. Dergi içindeki makalelerde 102 kendine atıf %7 ile önemli bir kalem (diğer dergilerden yüksek). Ama bu birşey değil: Journal of Physics: Conference Series dergisinin bir tek sayısı 294 atıf ile, tesir katsayısına tam %20‘lik bir katkı yapmış. Bu dergide belli bir ücret karşılığında konferansınızın tebliğlerini bastırabiliyorsunuz, ancak hakemlik işlemleri tamamen organizatörlere ait. ISI tarafından tarandığı için atıf sayısını etkiliyor.

Derginin sözkonusu sayısı J.-H. He’nin kendi üniversitesinde düzenlediği bir konferansın tebliğlerinden ibaret. Tabii o sayının editörlüğünü de kendi yapmış; kim bilir hakemlik nasıl yapılmıştır.

(ISI artık tebliğleri tesir katsayısı hesabına katmıyormuş. Muhtemelen bu işin patlamasından sonra verilen bir karardır.)

Sırada, 206 atıf (%14 katkı) ile Topological Methods in Nonlinear Analysis dergisinin özel sayısı var. Misafir editörler J.-H. He ve Lan Xu. Ayrıca bu dergiye J.-H. He kısa bir makale vermiş, üç sayfalık metinde otuz referans veriyor.

Yine aynı ikili, yine misafir editör olarak Journal of Polymer Engineering dergisinden IJNSNS’e 50 atıf devşiriyorlar.

Tabii He’nin editörlüğünü yaptığı Zeitschrift für Naturforschung A‘dan gelen 50 atıfı da unutmayalım.

Önemli bir katkı da eski dostumuz El Naschie’nin CSF’inden geliyor: Yıl içine dağılmış tam 154 atıf.

İşin ilginci, 2008’de IJNSNS’e yapılan bütün atıfların %71.5‘i önceki iki yıldaki makalelere yapılmış, yani tesir katsayısının hesaplandığı dönemdekilere. Oysa genel olarak uygulamalı matematik alanında 10-20 yıl önceki makalelere bolca atıf yapılır. Nitekim aynı oran CPAM için %16, SIAM Review için sadece %8. Sanki editörler “haydi katsayımızı yükseltelim” kararı vermiş ve hem kendilerine hem diğer yazarlara sadece yakın zamandaki makalelere atıf yapmaları talimatını vermiş gibi.

Özetle burada olan şu: Editörler yazarlara, gizli veya açık, “bana veya şu dergilere bol bol atıf yapın, ben de ne yazarsanız yazın yayınlayayım” mesajı veriyor. Bilimsel kalite değil, sayıları kabartma peşindeler. Buna ortak olan yazarlar da elbette suçlu. Bir nevi “cemaat” yapılanması: Şeyhin elini öp, o da seni kollasın.

Bu oyuna dahil olanlar, yakından bakmayanları, veya dalavereyi anlayabilecek uzmanlığı olmayanları da “ben en etkili dergilerde yüzlerce makale basıyorum“, “benim teorimi binlerce makalede kullandılar” diye kandırıyorlar. Para ödülü alıyorlar, idareciliğe geçiyorlar, kadrolaşıyorlar. Arada şaşıp, iyi zannederek o dergiye makale yollayan dürüst araştırmacılar da haksız yere töhmet altında kalabiliyor.

Araştırmacıları değerlendirmekte kullanılan h-indeksi de atıf sayısına göre hesaplanıyor. Ji-Huan He kendi h-indeksi değerinin 39 olduğunu söylüyor; yani her biri 39’dan fazla atıf almış tam 39 makalesi var. Nobelli bilimciler için bu değer tahminen ortalama 35 kadar (bazen daha da azdır — bir çığır açıcı makale ile Nobel alan Harry Kroto meselâ). Editörlük sorumluluğu atıf oyunları ile çiğnenince böyle şeyler görmek normal.

Bu yazı çok uzadı, burada keselim, sonra devam ederiz.

Ek

Doug Arnold’un “Elsevier boykotunu desteklemek için daha fazla sebep” başlıklı yazısında gördüğüm korkunç ötesi bir makaleyi paylaşmak istedim.

Makale başlığı “A computer application in mathematics“. İki sayfayı bile bulmayan bu makalede yazarlar geometrideki “paralellik varsayımını” bir şekilde ispatladıklarını söylüyorlar. Ne yaptıkları belli değil, ne dedikleri bile belli değil. Referanslar dört tane web linki ve yazarların kendilerine iki atıftan ibaret. İçinde ne bir formül ne de herhangi bir akıl yürütme var.

Yayınlandığı dergi Elsevier bünyesindeki “Computers and Mathematics with Applications“. SCI’da taranıyor. O zamanki editörü Ji-Huan He.