YARIŞMA ÇAĞRISI ve SONUÇLAR (aşağıda)
SİU 2023 kapsamında düzenlenecek olan Hesaplamalı Sosyal Bilimler oturumunda, nefret söylemi tespit yarışması (SİU2023-NST) düzenlenecektir.
Nefret söylemi, bir kişiyi veya grubu etnik köken, ırk, din, dil, cinsiyet, cinsel yönelim, yaş, engellilik gibi kimlik özellikleri temelinde ayırt ederek hedef alan önyargıya dayalı, olumsuz ve saldırgan sözlü, yazılı veya görsel ifadelerdir. Bu özel oturumda nefret söylemi konusundaki çalışmaların tartışılabileceği bir ortam yaratarak konu üzerinde sinerji yaratmak ve nefret söyleminin otomatik tespiti ve analizi için geliştirilen yöntemlerin değerlendirilerek, Türkçe nefret söylemi tespiti konusunda gelinen seviyenin tespit edilmesi için bir yarışma düzenlenmektedir. Yarışmada kullanılacak veri seti üç farklı konuda (İsrail-Filistin çatışması, Yunan karşıtlığı ve göçmen/mülteci karşıtlığı) toplanmış 5000 adet Türkçe tweet verisinden oluşmaktadır. Veri kümesindeki her tweet nefret söylemi varlığı/yokluğunun yanı sıra, nefret söylemi kategorisi (5 sınıf) ve nefret söylemi şiddeti (0-4 arası, 5 seviye) için üçer kişi tarafından etiketlenmiştir.
Yarışma dört farklı alt-problem üzerinden yapılacaktır:
1) İsrail-Filistin çatışması konusunda nefret söylemi kategorisinin (5-sınıf) tespiti: Kategori isim ve açıklamaları eğitim kümesi ile paylaşılacaktır.
2) Mülteci veri kümesi üzerinde nefret söylemi ikili sınıflandırması: (0: NS yok; 1: Yukardaki 1-4 kategorisinden birisi var)
3) İsrail-Filistin çatışması konusunda nefret söylemi şiddetinin tahmini
4) Mülteci veri kümesi üzerinde nefret söylemi şiddetinin tahmini
3) ve 4) nolu alt-problemler regresyon problemi olarak ele alınmalı ve tweet’in kategorisinden bağımsız olarak, şiddet seviyesi tahmin edilmeye çalışılmalıdır. Tweet içeriğindeki şiddet ve kategori arasında pozitif korelasyon olsa da, içerikte algılanan şiddet, kategoriden ayrı olarak etiketleyiciler tarafından bağımsızca belirlenmiştir.
Yunan karşıtlığı eğitim kümesi üzerinde bir alt-problem yoktur; bu küme diğer problemlere de veri olarak istenirse kullanılabilir.
—
Geliştirilen yöntemler bağımsız test kümeleri ile Kaggle platformu üzerinden değerlendirilecek ve farklı yaklaşımların başarımları uygun metrikler ile karşılaştırılacaktır (makro F1 skoru ve ortalama kare hata). Katılımcıların Kaggle platformuna yüklemiş oldukları csv dosyasını üreten kod dosyasını paylaşılacak ayrı bir form ile paylaşmaları beklenmektedir.
Dijital Teknolojileri Kullanarak Nefret Söylemi ve Ayrımcılıkla Mücadele isimli AB projesi kapsamında düzenlenecek imecenin her alt-probleminde en başarılı olan gruba 750şer avro ödül verilecektir.Proje Hrant Dink Vakfı, Sabancı Üniversitesi ve Boğaziçi Üniversitesi’nden araştırmacılar tarafından yürütülmektedir.
Yarışmaya katılmak için bildiri yollamaya gerek yoktur, ancak yarışmaya katılacak grupların özel oturumda değerlendirilmek bildiri yollamaları teşvik edilmektedir (gönderilen bildiriler öncelikle bilimsel özgünlük açısından değerlendirilecektir).
Yarışma için tahmini zaman çizelgesi:
Eğitim kümesinin paylaşılması: 10 Mayıs 2023
Yarışmaya kayıt için son tarih: 17 Mayıs 2023
Oturuma son bildiri yollanma tarihi: 25 Mayıs 2023
Test kümesinin paylaşılması: 1 Haziran 2023 – 9am (Istanbul time)
Test sonuçlarının toplanması: 2 Haziran 2023 – 9pm (Istanbul time)
Sonuçların duyurulması: 3 Haziran 2023 – 9pm
Bildirilerin sonuç tablolarının güncellenmesi için son tarih: 4 Haziran 2023
Bildirilerin kabulünün duyurulması: 5 18 Haziran 2023
Yarışmaya kayıt için 17 Mayıs 2023’e kadar form doldurulmalıdır: https://forms.gle/dSZdtNJrpozBH5579
Önemli Not: Nefret söyleminin tanımı ve sınıflandırmasına yönelik kabul edilmiş net kriterler olmaması ve etiketleme işleminin öznel bir yanı olmasından dolayı, veri setinde bir miktar yanlış veya tartışma götürür etiket bulunmaktadır. Test/sınama kümesi etiketleyenler arasında daha fazla uyum olan tweet’lerden seçilmiştir. Yarışmadaki her alt probleme 3 veya daha fazla ekip katıldığı takdirde ödül verilecektir; eşitlik halinde ödül bölüştürülecektir. Yarışma ve ödül kurallarında son karar organizasyon komitesindedir. Yarışmaya katılanlar bu kuralları kabul etmiş sayılır.
SİU2023-NST SONUÇLAR
Yarışmaya kayıt olan ve aralarında Yıldız Teknik Üniversitesi, Sabancı Üniversitesi, TOBB Ekonomi ve Teknoloji Üniversitesi ve Koç Üniversitesinden katılımcılar bulunan 20 ekipten 8’i alt-problemlerin biri veya daha fazlasına sonuç yüklemiştir. Önceden ilan edilen skorlara göre belirlenen yarışma sonuçları, alt-problem bazında şöyledir:
- İsrail-Filistin çatışması konusunda nefret söylemi kategorisinin (5-sınıf) tespiti
- Birinci: Ahmet Tarık Karakaş -> Skor: 0.5758
- İkinci: Hasan Kemik -> Skor: 0.5750
- Üçüncü: Mustafa Budak, İlknur Durgar Elkahlout, Burcu Şenol, Muhammet Nusret Özateş -> Skor: 0.5682
- Mülteci veri kümesi üzerinde nefret söylemi ikili sınıflandırması
- Birinci: Kaan Efe Keleş ve Ömer Kaan Gürbüz -> Skor: 0.7687
- İkinci: Hasan Kemik -> Skor: 0.7562
- Üçüncü: Ahmet Tarık Karakaş -> Skor: 0.7280
- İsrail-Filistin çatışması konusunda nefret söylemi şiddetinin tahmini
- Birinci: Ahmet Tarık Karakaş -> Skor: 0.3161
- İkinci: Hasan Kemik -> Skor: 0.3520
- Üçüncü: Kaan Efe Keleş ve Ömer Kaan Gürbüz -> Skor: 0.3547
- Mülteci veri kümesi üzerinde nefret söylemi şiddetinin tahmini
- Birinci: Kaan Efe Keleş ve Ömer Kaan Gürbüz -> Skor: 0.4470
- İkinci: Ahmet Tarık Karakaş -> Skor: 0.4715
- Üçüncü: Hasan Kemik -> Skor: 0.5448