1.000'den fazla araştırmacı ve öğrenci kullanıyor

Kaynağının desteklemediği cümleleri gör

Metnindeki atıflar, gösterdikleri kaynağın kendi metniyle karşılaştırılıyor. Cümlen kaynağın söylediğinden fazlasını iddia ediyorsa bunu kaynaktan birebir bir alıntıyla görüyorsun.

Grongy'de “İddia kontrolü” paneli

Cümlen kaynağın kendi metniyle karşılaştırılıyor

Denetimin birimi paragraf değil, tek bir cümle ile onun atıf verdiği kaynak. Bu ikiliyi kod kuruyor: hangi cümlenin hangi kaynağa gönderme yaptığı metnin yapısından çıkarılıyor. Dil modelinin işi sonra başlıyor ve tek bir soruyla sınırlı kalıyor: bu cümle, kaynaktan getirilen metinde duruyor mu?

  1. Çift kuruluyor

    Cümle ve atıf verdiği kaynak eşleştiriliyor. Kaynakça bölümü denetime girmiyor.

  2. Kaynağın kendi metni okunuyor

    Kaynağın dizinlenmiş tam metninden iddiaya en yakın sayfalar ve yayının kendi özeti getiriliyor. Karşılaştırma bu metinle yapılıyor.

  3. Hüküm alıntıya dayanıyor

    Hüküm kaynaktan birebir bir alıntıya dayanıyor; alıntının geldiği sayfa ya da özet yanında yazıyor. Alıntı bulunamazsa hüküm doğrulanamadı olarak kalıyor.

Dört dilde ölçülen bir sonuç "tüm diller" diye yazılırsa

Transfer öğrenme, düşük kaynaklı tüm dillerde çeviri kalitesini artırır (Zoph vd., 2016).

Kaynağın kendi cümlesi, s. 1568:

Using our transfer learning method we improve baseline NMT models by an average of 5.6 BLEU on four low-resource language pairs.

Makale dört dil çiftinde ölçüm yapıyor: Hausa, Türkçe, Özbekçe ve Urducadan İngilizceye. "Tüm diller" bu ölçümün söylediğinden fazlası, ve cümlede kaynağa dayanmayan kısım tam olarak o sözcük. Bu, panelin "Kaynağın gösterdiğinden fazlasını iddia ediyor" diye işaretlediği türden bir cümle; karttaki karşılığı "Kısmen destekleniyor".

Zoph, B., Yuret, D., May, J. ve Knight, K. (2016). Transfer Learning for Low-Resource Neural Machine Translation. EMNLP, 1568–1575.

Kanıt yerine özet geçmiyor. Kaynağın yapay zekâyla çıkarılmış özeti bu denetimde delil sayılmıyor; karşılaştırma kaynağın kendi cümleleriyle yapılıyor. Ne dizinlenmiş metni ne kendi özeti olan kaynak için hüküm verilmiyor, denetlenemediği yazılıyor.

Sorun bulunan cümle için bir düzeltme de önerilebiliyor. Önerilen cümle aslından daha güçlü ya da daha kesin olamıyor, atıfları da olduğu gibi kalıyor.

Bir turda en fazla 120 cümle-kaynak ikilisi inceleniyor. Daha fazlası varsa önce sayı, neden-sonuç ya da eğilim bildiren iddialar denetleniyor, sonra metne yayılmış bir örneklem alınıyor, ve panel kaçının denetlendiğini yazıyor. Atıf denetimi bir yapay zekâ işi, kullanım hakkından düşebilir.

Her kart beş hükümden birini taşıyor: destekleniyor, kısmen destekleniyor, desteklenmiyor, çelişiyor, doğrulanamadı.

Paneldeki her bulgu sorunun türünü de söylüyor. Her cümlenin yanında, karttaki hangi hükmün altına düştüğü duruyor:

  • Kaynağın gösterdiğinden fazlasını iddia ediyorKısmen destekleniyor
  • Kaynak başka bir şey söylüyorKısmen destekleniyor
  • Kaynak bunu desteklemiyorDesteklenmiyor
  • Kaynak bunun tersini söylüyorÇelişiyor
  • Bu kaynağın denetlenecek kadarı dizinlenmemişDoğrulanamadı

Kaynak kaydında neler işaretleniyor

Bu denetim cümleye değil kaynağın kendi kaydına bakıyor. Kullanım hakkı gerektirmediği için ücretsiz planda da çalışıyor. Taramayı sen başlatıyorsun ve bulgular önem sırasına göre ayrılıyor.

Kritik

  • Künyedeki DOI kayıtlı değil
  • DOI kayıtlı, ama başka bir yayına gidiyor
  • Kaynak geri çekilmiş: kart "Geri çekildi" rozetiyle işaretleniyor
  • Metinde geçen bir atfın kütüphanende karşılığı yok

Önemli

  • Yıl, yazarlar ya da başlık dizindeki kayıttan farklı
  • Bulgu dizindeki kaydı da gösteriyor; künyeni onunla karşılaştırıp düzeltiyorsun

Küçük

  • Künye Crossref, Semantic Scholar ve arXiv'de aranıyor; hiçbirinde eşleşme çıkmayabilir

Bulunamamak yalnızca küçük bir bulgu. Kitaplar, raporlar ve yerel dildeki dergiler için bu olağandır: bu tür kaynakların çoğu bu dizinlerde yok. Kartın söylediği şey kaynağın var olmadığı değil, bu dizinlerde kaydının görünmediğidir.

Geri çekilme denetimi yayın kaydının DOI'si üzerinden çalışıyor ve haftada bir, bir belgeyi açtığında arka planda yenileniyor. DOI'si olmayan bir kaynağın geri çekilip çekilmediği bu yolla görülemiyor.

Bir turda en fazla 24 kaynak kartı aranıyor, önce atıf yaptıkların. Sonuç 90 gün kartta kalıyor.

Grongy'de “Kaynak güvenilirliği” paneli

Yapay zekâ yalnız kütüphanendeki kaynaklara atıf veriyor

Aşağıdakiler bir denetim değil, yazım sırasında işleyen kurallar, ve yalnız yapay zekânın ürettiği metin için geçerli. Senin kendi elinle yazdığın cümleye karışmıyor.

Karşılığı olmayan atıf metne giremiyor

Üretilen metindeki her atıf kütüphanendeki bir kartla ya da aramanın o an getirdiği bir kayıtla eşleşmek zorunda; atıf verilen kayıt kütüphanene eklenir. Eşleşmeyen atıf siliniyor. Atıf cümlenin öznesiyse, örneğin "Yılmaz (2023) bunu gösteriyor" cümlesinde, cümlenin tamamı birlikte gidiyor.

Sayfa numarası dizinlenmiş bir sayfa olmak zorunda

Yapay zekâ kaynakta bulunmayan bir sayfaya gönderme yapamıyor. Verdiği numara kaynağın dizinlenmiş sayfalarından biri değilse atıftan düşüyor.

Tırnak içindeki alıntı kaynakta aranıyor

Altı sözcük ya da daha uzun bir doğrudan alıntı kaynağın metninde bulunamazsa tırnak kaldırılıyor. Alıntı olmayan bir cümle alıntı gibi gösterilmiyor.

Kaynağa fazla yakın cümle engelleniyor

Üretilen cümle kaynaktan on ya da daha fazla sözcüğü aynen aktarıyorsa, ya da kaynağın cümlesiyle örtüşmesi %60'a ulaşıyorsa, cümle metne alınmıyor.

Elindeki Word belgesini getir

Grongy'deki denetim yalnız burada yazdığın metne bağlı değil. Başka bir yerde bitirdiğin bölümü .docx olarak içe aktarıyorsun, atıfları ve kaynakçası çalışmanın içine giriyor.

  • Yalnız .docx

    Kaynakça belgenin yapısından çıkarıldığı için yapıştırılan düz metinde okunamıyor.

  • Kaynakça gerçek bir başlık altında olmalı

    Kaynakça bölümü Word'ün kendi başlık biçimiyle işaretlenmişse okunuyor: "Kaynakça" ya da "References". Sadece koyu yazılmış bir satır başlık sayılmıyor.

  • Her satır kayıtlarda aranıyor

    Künyeler Crossref ve DataCite'ta eşleştiriliyor. Eşleşenler tam künyesiyle kütüphaneye giriyor; eşleşmeyenler yazıldığı gibi ekleniyor.

Yazıldığı gibi eklenen kart doğrulanmış bir kayıt değil. Kaynak güvenilirliği taramasında o kartlar da dizinlerde aranıyor; bulunamayan, DOI'si kayıtlı olmayan ya da başka bir yayına giden künye işaretleniyor. Özeti ve tam metni olmadığı için atıf denetiminde denetlenemedi sayılıyorlar.

Bu ne değildir

Bulunamadı, uydurma demek değildir

Bir kaynak dizinlerde bulunamadığında ürün ona uydurma demiyor. Kitap, tez, kurum raporu ve yerel dildeki dergi bu dizinlerde çoğu zaman yok. Kaydın görünmediği yazılıyor, kararı sen veriyorsun.

İntihal ya da yapay zekâ raporu değil

Metnin başka yayınlarla benzerliği ölçülmüyor; o iş benzerlik raporunun. Bir metnin yapay zekâyla yazılıp yazılmadığına dair hüküm de üretilmiyor.

Kaynağın doğruluğu hakkında hüküm değil

Denetim cümlenin kaynağında durup durmadığına bakıyor, kaynağın kendisinin doğru olup olmadığına değil. Geri çekilmiş bir makaleye doğru atıf veren cümle "destekleniyor" alabilir: geri çekilme bulgusu o yüzden ayrı duruyor.

Sık sorulan sorular

Kaynağımın tam metni yoksa ne oluyor?

Özeti varsa cümle özetle karşılaştırılıyor. Ne özeti ne dizinlenmiş metni varsa hüküm verilmiyor: kaç atfın denetlenemediği yazılıyor ve PDF'ini eklemen isteniyor. Eksik metin tahminle tamamlanmıyor.

Kendi yazdığım cümleler de denetleniyor mu?

Atıf denetimi metnin tamamında çalışıyor, kendi yazdığın ve içe aktardığın bölümler dahil. Yazım sırasındaki korumalar ise yalnız yapay zekânın ürettiği metin için geçerli: senin yazdığın bir atıftan sayfa numarası düşmüyor.

Bu denetimler kullanım hakkı harcıyor mu?

Kaynak güvenilirliği taraması harcamıyor, ücretsiz planda da çalışıyor. Atıf denetimi bir yapay zekâ işi ve kullanım hakkından düşebilir; hangi planda ne kadar hak olduğu fiyatlar sayfasında.

Uydurma kaynaklı bir taslağı içe aktarırsam yakalanır mı?

Doğrudan değil. İçe aktarılan kaynakça satırları kütüphanene kart olarak giriyor, metindeki atıflar da o kartlara bağlanıyor. Kaydın dizinlerdeki durumu Kaynak güvenilirliği taramasında görünüyor.

Kaynaklarını Grongy'ye taşı

Kütüphanen kurulduktan sonra her iki denetim de aynı kaynaklar üzerinden çalışıyor.