Tekrarlanabilir araştırma ve Rogoff-Reinhart olayı

Tekrarlanabilir Araştırma“nın (Reproducible Research olarak da bilinir) ana fikri çok basit: Hesaplamaya dayalı bir bilimsel çalışma yaptıysanız, hazırladığınız bilgisayar programını da makaleyle beraber herkese açıkça sunacaksınız.

Bu fikri ilk duyduğumdan beri “e haliyle” diyordum. Sonuçlarınızı nasıl elde ettiğinize dair her ayrıntıyı vermezseniz, okuyanlar doğru iş yapıp yapmadığınızı nasıl kontrol edebilir? Öte yandan bu fikre pek ısınamayanlar var. Sebepler muhtelif, ama en çok “ne uğraşacağım” tavrı ağır basıyor.

Teorik bir çalışmayı anlatan makalenizde, o sonuca nasıl ulaştığınızı ayrıntıyla göstermeniz, yani ispat etmeniz beklenir, böylece gerek hakemler, gerek okuyanlar sizin düşünce zincirinizi takip edebilir ve yaptığınız hataları tespit edebilir. Oysa hesaplamalı çalışmada kullandığımız bilgisayar programını vermesek de olabiliyor nedense.

Matematikçi Randall J. LeVeque, “Top Ten Reasons To Not Share Your Code (and why you should anyway)” başlıklı eğlenceli yazısında, teoremlerin ispatsız olarak yayınlandığı alternatif bir evren hayal ediyor. Kaynak kodlarını yayınlamamak için öne sürülen bahanelerin, teorem ispatlarını yayınlamamak için de kullanılabileceğini anlatıyor ve bu bahanelerin komikliğini gösteriyor.

Kod paylaşmaya karşı isteksiz tavır yakında değişebilir, çünkü birçok bilim alanında Tekrarlanabilir Araştırma talepleri artmaya başladı. Sözgelişi, Lior Shamir ve çalışma arkadaşları, ArXiv’deki “Practices in source code sharing in astrophysics” başlıklı makalelerinde, bir çalışmanın yayına kabulü için, kaynak kodlarının da yayınlanmasının şart koşulması gerektiğini savunuyorlar.

Science, Nature gibi en üst seviye dergiler bunu uyguluyor bile. On yıla kadar bütün ciddi dergilere yayılması mümkün. Yakında makalenizi yazarken programcılık disiplinine dikkat etmeye başlamanız, hakemlik ederken de kod okumaya hazırlıklı olmanız gerekebilir. Bu konularda Software Carpentry sitesi çok faydalı bir kaynak.


Birkaç hafta önce makroekonomi alanında patlayan Rogoff-Reinhart makalesi tartışması, hesaplamalı çalışmanın açıkça sunulmamasının yaratacağı sonuçları çok çarpıcı şekilde gösterdi. Ayrıntıları Güven Sak’dan veya BBC haberinden okuyabilirsiniz. (Aykut Kibritçioğlu bu konuda çok etraflı bir okuma listesi tutuyor.) Özetle, Rogoff ve Reinhart’ın 2010’da yayınladıkları makale, devlet harcamalarının azaltılmasını isteyenlerin ekmeğine yağ sürmüş. Ancak, yazarların kullandığı Excel tablosunda bazı ülkelere dair veriler yanlışlıkla hesaba katılmamış, bu da ana çıkarsamanın yanlış olmasına yol açmış.

Rogoff-Reinhart çalışması boğazına kadar politik tartışmalara batmıştı, o yüzden bu hata çok yankı uyandırdı. Oysa çalışmayla beraber ilgili veri (Excel dosyası) yayınlanmış olsaydı ve ilgili herkes en baştan beri kolaylıkla inceleyebilseydi, bu hata daha önceden bulunabilirdi. Gereksiz siyasi tartışmalar yine olurdu belki (siyasi tartışmalar akla dayanmaz zaten; insanlar önce bir fikir benimser, sonra o fikri destekleyecek bir şeyler bulurlar), ama yazarların itibarı bu kadar zedelenmezdi.

Bilgisayar bilimci Daniel Lemire, ciddi işlerde neden Excel kullanmamamız gerektiğini güzelce yazmış. Hesap tablosu mantığı programlama disiplinine uymaz, hataları bulmak çok zordur. Bilimsel hesap yapacaksanız C, Fortran, Java, Python, R gibi ciddi bir dil kullanmalısınız.


Kişisel bir tecrübe: Bir süre önce uzay fiziği alanında bir makaleye hakemlik yaptım. Çalışma, özel bir manyetik alan modelinde yapılan simülasyonların sonuçlarını aktarıyordu. Kullanılan kaynak kodu verilmemişti, hatta daha önce yayınlanmış olan manyetik alan modelinin kaynak kodunu da internette bulamadım.

Çalışmada bazı zaaflar buldum, yazdım, raporun sonuna da kullanılan programların da paylaşılması gerektiğini, böylece ilgili kişilerin sonuçları tekrarlamasının mümkün olacağını yazdım. Cevaben, isteyen herkese programı gönderebileceklerini, ama kodda birçok zor kısım olduğunu ve diğer kullanıcıların yardımsız çalıştırmalarının zor olacağını yazdılar. “Yardımsız çalıştırılabilecek hale getirin o zaman” demenin faydasız olacağı belliydi, üstelemedim.

Metodik hata olduğunu düşündüğüm bazı noktalara üstünkörü cevap vermişlerdi. Bazı kavramsal hataların yanı sıra, simülasyonları kabul edilemeyecek kadar büyük miktarda sayısal hata içeriyordu. Anlaşıldı ki, 4. derece Runge-Kutta gibi ancak orta derecede doğruluğu olan bir yöntem kullanmışlardı. Üstelik bunlar fasulyeden adamlar da değillerdi; birinci yazar NASA’da çalışıyordu. Makaleyi reddettim, ama bir süre sonra değişikliklerle tekrar geldi. Az daha düzgün bir sayısal yöntem kullanmışlardı, hata payı daha azdı. İtiraz etmek için somut bir sebebim olmadığından, içime tam sinmese de kabul ettim.

Acaba kaynak kodunu inceleyebilseydim, veya hiç olmazsa sonuçları tekrar üretebilseydim başka neler bulurdum merak ediyorum. Kaynak kodunu paylaşma isteksizliğinin bir sebebinin, örtbas edilmiş eksikliklerin keşfedilmesi korkusu olduğundan şüpheleniyorum.

Reklamlar

Kaan Öztürk hakkında

Kaan Öztürk İstanbul’da doğdu. İstanbul Lisesi ve Boğaziçi Fizik mezunu. Rice Üniversitesi‘nde uzay fiziği alanında doktora yaptı. Işık ve Yeditepe üniversitelerinde ders verdi. 2015-2016 döneminde Rice'da ziyaretçi araştırmacı olarak çalıştı. Bugünlerde Sabancı Üniversitesi'nde optimizasyon ve yapay öğrenme konularında doktoraüstü araştırmacı olarak çalışıyor.

01 Mayıs 2013 tarihinde Bilimsel Programlama içinde yayınlandı ve , , , , , , olarak etiketlendi. Kalıcı bağlantıyı yer imlerinize ekleyin. 6 Yorum.

  1. Benim kötü tecrübelerim var bu konuda. Hakemlik yaptığım bir yayında “kaynak kodu”nun açılmasını, zira yöntemin kontrol edilmesi gerektiğini, sonuçların test edilmesi gerektiğini söyledim. Bunun üzerine Carnegie Mellon Uni ve bir Fin şirketi arasındaki anlaşma gereği yapamayacaklarını söylediler. (O zaman patentleyin, ne diye bilimsel yayın haline getiriyorsunuz ?) İtirazım dikkate alınmadı ve makale basıldı. (Zira mühendisler artık bunu öyle sıklıkla yapıyor ki, açan enayi kabul edilir durumda, sebep maalesef ne uğraşacağım değil: “survive” edebilmek için kendi çalışmasında tekel oluşturup, CV’sine ardarda paper dizmek amacını güdüyorlar) Çok ama çok can sıkıcı bir durum.

  2. Kaan Bey, yazınızda önemli bir konuya değinmişsiniz. Ancak, Reinhart ve Rogoff’un 2009-2012 yılları arasında yayınlanan ve ilk zamanlar ciddi/sert kuramsal-ampirik eleştirilere uğrayan, 15 Nisan 2013’ten bu yana ise 2010 tarihli makalelerindeki hesap hataları ile gündeme gelen borç-büyüme konulu çalışmalarının hiçbiri aslında (normal) bir hakemlik sürecinden geçmemiş:

    (1) Rob Wile (2013.04.18): “Journal Editor: The Famous Reinhart-Rogoff Debt Paper Did Not Go Through The Normal Refereeing Process”, http://www.businessinsider.com/editor-talks-reinhart-rogoff-excel-error-2013-4

    (2) Kevin Blaine Grier (2013.04.29): “Peer Review: It still matters“, http://cherokeegothic.com/2013/04/29/peer-review-it-still-matters/

    Bu durum, kuşkusuz, sizin yazdıklarınızın önemini ve doğruluğunu etkilemiyor. Ama yine de bu bilgiyi paylaşmak istedim.

    Sizin de belirttiğiniz gibi, konunun çok çeşitli yönleri halen iktisatçılarca yoğun biçimde tartışılıyor. Tartışmayla ilgili ek bilgi, eleştiri ve görüşler için şu adresteki katkılara da bakılabilir: http://kibritcioglu.com/iktisat/blog/?p=2984

    İyi çalışmalar, saygılar…

    • Aykut hocam, bu şaşırtıcı bilgi için teşekkürler. Hayatımızı doğrudan etkileyen kararların bu kadar muğlak kaynaklara dayanması beni korkutuyor doğrusu. İnsanlık hali, R&R bir hata yapmış, mesele yok. Asıl, kendi önyargılarına destek olabilecek her şeyi sorgusuzca kabul edenlerden korkuyorum.

  1. Geri bildirim: diye başlamışla… | paylasimintekveyeniadresi

  2. Geri bildirim: TEDMEM Akademik Yayıncılık Çalıştayı | Kaan Öztürk Blog

Bir Cevap Yazın

Aşağıya bilgilerinizi girin veya oturum açmak için bir simgeye tıklayın:

WordPress.com Logosu

WordPress.com hesabınızı kullanarak yorum yapıyorsunuz. Çıkış  Yap / Değiştir )

Twitter resmi

Twitter hesabınızı kullanarak yorum yapıyorsunuz. Çıkış  Yap / Değiştir )

Facebook fotoğrafı

Facebook hesabınızı kullanarak yorum yapıyorsunuz. Çıkış  Yap / Değiştir )

Google+ fotoğrafı

Google+ hesabınızı kullanarak yorum yapıyorsunuz. Çıkış  Yap / Değiştir )

Connecting to %s

%d blogcu bunu beğendi: