Son yıllarda yapay zeka değerlendirmesi, geleceğin teknolojisi olmaktan çıkıp günlük hayatın bir parçası haline geldi. Artık soru üretiminden otomatik puanlamaya ve beceri kazandırmaya kadar birçok alanda kullanılıyor.
British Council olarak biz de AI (yapay zeka) tabanlı testlerimizi, adaylar için daha erişilebilir ve ilgi çekici hale getirmek, onların performansını artırmak için kullanıyoruz.
Örneğin, İlköğretim İngilizce Sınavı hem otomatik puanlama hem de uyarlanabilir test soruları içeriyor. Bu da soruların zorluk seviyesinin, öğrencinin seviyesine göre gerçek zamanlı olarak değiştiği anlamına geliyor. Böylece öğrenciler, seviyelerine uygun zorluklarla karşılaşırken zorlanmıyorlar.
Yine de kültürel ve algoritmik önyargı, veri gizliliği ve kopya riski gibi bazı etik kaygılar devam ediyor.
Bu konuları daha derinlemesine ele almak için British Council’daki yapay zeka uzmanımız, Kıdemli Araştırmacı ve Veri Bilimcisi Mariano Felice ile görüştük. Mariano, aynı zamanda Cambridge Üniversitesi’nde otomatik dil öğretimi ve değerlendirmesi üzerine de araştırmalar yapıyor.
İşte bizimle paylaştıkları:
British Council’da Yapay Zeka ile Test Uygulamaları
Yapay zeka, daha özgün, ilgi çekici ve etkileşimli test materyalleri oluşturmayı nasıl sağlıyor?
Konuşma tanıma ve metinden sese (text-to-speech) teknolojileri sayesinde makinelerle sözlü diyalog kurmak mümkün hale geldi. Bu da testlerin daha doğal hissettirmesini sağlıyor. Büyük Dil Modelleri (LLM’ler) ve sohbet robotları sayesinde farklı aksanlara sahip yapay sesler bile oluşturabiliyoruz. Bu sayede öğrenciler, farklı dilsel arka planlardan gelen insanlarla iletişim kurma becerilerini geliştirebiliyor. Dinleme ve iletişim becerilerini geliştirmek için harika bir yöntem.
Soru hazırlayanlar için de üretken yapay zeka, ister metin ister görsel veya video olsun, içerik üretimini ciddi ölçüde hızlandırabiliyor.
Yapay zeka puanlamasının avantajları nelerdir?
En başta, tamamen otomatik ve hızlı bir sistem. Öğrencinin performansı kısa sürede değerlendirilip sonuçlar ve geri bildirim çok hızlı bir şekilde sunulabiliyor. Aynı anda dünyanın farklı yerlerindeki birçok öğrenciyi değerlendirebildiğimiz için kaliteli dil değerlendirme süreçleri daha erişilebilir hale geliyor.
Son olarak, insan önyargısı riskini ortadan kaldırdığımız için sonuçlar adil, tutarlı ve doğru oluyor.
Yapay zeka hangi becerileri değerlendirmede daha başarılı?
Kesinlikle yazma. Çünkü metinlerle çalışma geçmişimiz çok daha uzun ve yazılı veriyi işlemek sesli veriye kıyasla çok daha kolay. Tokenizasyon, etiketleme ve sözdizimsel çözümleme gibi teknolojiler onlarca yıldır var ve bazen insanlardan bile daha başarılı sonuçlar veriyor.
Sesli içerik ise daha fazla teknolojik zorluk içeriyor. Konuşma tanıma, çok daha karmaşık modeller ve ciddi bir işlem gücü gerektiriyor. Neyse ki son dönemde derin öğrenme modelleri bu alanda büyük ilerlemeler sağladı. Önümüzdeki yıllarda daha etkili konuşma değerlendirme sistemleri göreceğimizi düşünüyorum.
Yapay Zeka Testlerinde Karşılaşılan Zorlukların Aşılması
Yapay zeka testlerinin manipüle edilmesini nasıl önlüyorsunuz?
Bu konuda birkaç yöntemimiz var. İlk olarak, yalnızca bir veya iki baskın özellik yerine birden çok özellik kullanıyoruz. Böylece örneğin metin uzunluğu ya da nadir kullanılan kelimeler gibi kolayca manipüle edilebilecek tekil etkenlere dayanmamış oluyoruz.
İkinci olarak, bu özelliklerin ağırlıklarını değiştirerek nihai sonuca etkilerini azaltabiliyoruz. Son olarak, olağandışı kalıpları (örneğin kelime tekrarları veya aşırı uç değerler) tespit edip insan denetimi için işaretleyen anomali tespit sistemleri kullanıyoruz.
Yapay zeka değerlendirmelerinde etik sorunları nasıl ele alıyorsunuz?
Tasarıma Göre Etik yaklaşımını benimsiyoruz. Bu, sorunlar ortaya çıkmadan önce öngörülüp çözüm geliştirilmesi anlamına geliyor. Temel ilkelerimiz şunlar:
- Şeffaflık
- Gizlilik ve veri yönetimi
- Adalet ve önyargı azaltma
- Bireysel, toplumsal ve çevresel refah
- İnsan iradesine saygı
- Hesap verebilirlik ve denetim
Genellikle en çok sorun yaşanan iki alan var: adalet ve insan denetimi.
Adalet demek, belirli gruplara karşı sistematik bir önyargı olmaması demek. Örneğin, yalnızca ana dili nedeniyle daha düşük puan alan öğrenciler varsa bu adil değil. Bu nedenle eğitim verilerimiz, çok çeşitli dil geçmişlerinden gelen öğrenci örneklerini içeriyor. Ayrıca belirli grupları avantajlı duruma getirecek özellikleri bilinçli olarak modele dahil etmiyoruz. Potansiyel olarak adaletsiz davranışları tespit edip ortadan kaldırmak için yoğun testler uyguluyoruz.
İnsan denetimi de çok önemli. Yapay zeka sistemleri kusursuz değildir, bu yüzden mutlaka izlenmeleri gerekir. Her zaman sistemin işleyişinden sorumlu olan bir kişinin olması ve gerektiğinde otomatik kararları geçersiz kılabilmesi gerekir. Aksi takdirde yanlış bir karar, insanların hayatlarında ciddi sonuçlara yol açabilir.
Unutulmaması gereken en önemli şey şu: Biz teknolojiyi öğrenme hedeflerimizi desteklemek için kullanıyoruz, öğrenmeyi teknolojiye göre şekillendirmiyoruz. Yaklaşımımız öğrenci odaklı ve insan merkezli, teknoloji odaklı değil.
Tasarıma Göre Etik yaklaşımımızı daha detaylı incelemek isterseniz bu videoya göz atabilirsiniz.
Yapay Zeka Testlerini Nasıl Geliştiriyoruz
İlköğretim İngilizce Testi ve diğer yapay zeka testlerinin geliştirilmesinde hangi araştırmalar yapıldı?
İlköğretim İngilizce Testi, küçük yaş grupları için test geliştirme alanında uzmanlaşmış bir ekip tarafından tasarlandı. Daha sonra bu test özellikleri, yapay zeka çözümüne dönüştürüldü.
Testte kullanılan temel yapay zeka özellikleri arasında otomatik puanlama ve çocukların konuşmalarını anlayacak şekilde geliştirilmiş özel bir konuşma tanıma sistemi yer alıyor. Bu amaçla, farklı görevleri çözmeyi öğrenen modeller, yapay zekalar oluşturduk. Bunun için dünyanın dört bir yanından gelen 2000’den fazla öğrenci örneğini kullandık. Şimdiye kadarki en büyük veri toplama projelerimizden biri. Bu modellerin geliştirilmesi ciddi bir planlama ve deney süreci gerektiriyor.
Eğitimcileri sürece ne zaman ve nasıl dahil ediyorsunuz?
Tüm paydaşları mümkün olan en erken aşamada sürece dahil etmeye çalışıyoruz. Öğretmenler, eğitimciler ve öğrencilerin ihtiyaçlarını dinliyoruz. Örneğin, belirli bir senaryo için konuşma pratiği yapmak üzere bir ürün ya da performansla ilgili detaylı geri bildirim gibi istekler olabiliyor. Bu tür bilgiler, ürünlerimizin eğitim ihtiyaçlarıyla uyumlu olmasını sağlamak adına çok önemli.
Ayrıca yapay zekaya dayalı tüm ürünlerde yer alan görevler, amaçlarına uygun olduklarından emin olmak için kapsamlı pilot uygulamalardan geçiyor. Ancak bu testler geçildikten sonra ürün geliştirilmeye başlanıyor. Ürün tamamlandıktan sonra tekrar test ediliyor, kullanımını izliyor ve gerekirse kullanıcı geri bildirimlerine göre değişiklikler yapıyoruz. Kullanıcıların sesleri, çözüm tasarımlarımızda her zaman önemli bir rol oynuyor.
Yapay Zeka ile Testin Geleceği Parlak
İster heyecanlı bir teknoloji sever ister teknolojiden uzak durmayı tercih eden biri olun, eğitimde yapay zeka etkili bir öğrenme ve değerlendirme aracı olarak kendini kanıtlıyor. Biz de bu teknolojiyi dikkatli ve sorumlu bir şekilde kullanmaya kararlıyız.
Geleceğe bakarsak, sonuçların daha genellenebilir olması için farklı coğrafyalarda ve seviyelerde daha fazla araştırma yapılması gerekiyor. Ayrıca yapay zekanın zorlukları, alımsal becerilerin geliştirilmesindeki rolü ve belirli araçların uzun vadeli öğrenmeye etkisi hakkında da daha fazla veriye ihtiyaç var.
Devam eden çalışmalarımızda ise veri odaklı içgörüler ve yeni yetenekler doğrultusunda test kalitesini ve test kişiselleştirmesini artırmaya odaklanıyoruz. Aynı zamanda daha yüksek doğruluk ve açıklanabilirlik sunan özellik bazlı modeller geliştiriyor ve testlerimizi yeni coğrafyalara uyarlıyoruz.
Son olarak, etkileşimsel yeterlilik ve problem çözme gibi üst düzey becerileri değerlendirmek için Büyük Dil Modelleri kullanımı üzerine araştırmalar yapıyoruz.
Gelecekte, dört temel dil becerisini de doğru bir şekilde değerlendirebilen yapay zeka testlerinin yaygınlaşacağından eminiz.
Mariano’nun da dediği gibi:
“Son 10 yılda, önceki 60 yıla kıyasla daha fazla ilerleme kaydettik… Bu hızla devam edersek, yapay zekanın yakın gelecekte bugün yapamadığı birçok şeyi yapabileceğine eminim.”
Bizi takip etmeye devam edin…