Konuşmacı ayırma nedir, üst üste konuşma neden zor?

Konuşmacı ayırma, bir ses kaydında kimin ne zaman konuştuğunu bulan işlemdir. Kaydı konuşmacı değişimlerinden parçalara böler ve aynı kişiye ait parçaları bir araya toplar; sonuçta deşifre “Konuşmacı 1”, “Konuşmacı 2” gibi etiketlerle okunur hâle gelir. Herkesin sırayla konuştuğu kayıtta bu iş görece kolaydır. Zorluk, iki kişinin aynı anda konuştuğu anlarda başlar; bunun nedeni ve mikrofon dizisinin bu soruna nasıl yardım ettiği bu yazının konusu.

Konuşmacı ayırma neden gerekli?

Bir toplantı deşifresini düşünün: konuşmacı bilgisi olmayan bir metin, noktalaması kaldırılmış bir romana benzer. Kimin teklif yaptığını, kimin itiraz ettiğini, kimin “bunu cumaya kadar gönderirim” dediğini bilemezsiniz. Satış görüşmesinde bu ayrım daha da önemlidir; müşterinin söylediği ile satışçının söylediği farklı anlam taşır.

Konuşma tanıma sesi yazıya çevirir, ama kimin konuştuğunu söylemez. Bu bilgiyi konuşmacı ayırma ekler. İngilizce kaynaklarda “speaker diarization” olarak geçer ve genellikle “who spoke when”, yani “kim ne zaman konuştu” sorusuyla özetlenir.

Konuşmacı ayırma nasıl çalışır?

Ayrıntılar sistemden sisteme değişse de temel akış benzerdir. Adımları sade bir dille şöyle sıralayabiliriz:

1. Konuşma bölümlerini bulma. Önce kayıtta konuşma olan ve olmayan yerler ayrılır. Sessizlik, öksürük ya da masa sesi gibi bölümler dışarıda kalır.
2. Kısa parçalara bölme. Konuşma bölümleri birkaç saniyelik parçalara ya da konuşmacının değiştiği noktalardan bölünür.
3. Ses izi çıkarma. Her parça için bir sinir ağı, sesin tınısını özetleyen bir sayı dizisi üretir. Buna ses izi ya da ses gömmesi denir. Aynı kişinin farklı cümleleri birbirine yakın, farklı kişilerin sesleri birbirinden uzak izler üretir.
4. Kümeleme. Benzer izler aynı gruba toplanır. Her grup bir konuşmacıya karşılık gelir. Kaç kişinin konuştuğu çoğu zaman önceden bilinmez; sistem bunu da verinin kendisinden tahmin eder.
5. Etiketleme ve birleştirme. Gruplar konuşma tanıma çıktısıyla eşleştirilir; her cümle bir konuşmacı etiketi alır.

Ses izi neyi yakalar?

Ses izi, sesin perdesi, tınısı, konuşma biçimi gibi özelliklerin bir tür sayısal özetidir. Kişinin ne dediğinden çok nasıl konuştuğunu yansıtır. Bu yüzden iki farklı cümle, aynı kişiden geldiyse benzer bir iz verir.

Ama ses izi kusursuz değildir. Benzer sesli iki kişi, örneğin aynı yaş ve cinsiyetten iki meslektaş, birbirine yakın izler üretebilir. Aynı kişinin sesi ise heyecanlandığında, fısıldadığında ya da mikrofondan uzaklaştığında değişebilir. Kısa onay sözcükleri (“evet”, “tabii”, “hı hı”) bir iz çıkarmak için çok kısadır ve sık sık yanlış kişiye atanır.

En sık görülen hatalar

Konuşmacı ayırmanın hataları birkaç tipik biçimde ortaya çıkar. Deşifreyi okurken bunları bilmek, düzeltmeyi hızlandırır:

• Bir kişi ikiye bölünür. Aynı kişi toplantının bir bölümünde yüksek sesle, başka bir bölümünde alçak sesle konuşursa sistem onu iki ayrı konuşmacı sanabilir.
• İki kişi tek kişi sayılır. Sesleri birbirine benzeyen ve az konuşan iki katılımcı aynı grupta toplanabilir.
• Söz sınırı kayar. Konuşmacı değişiminin tam yeri birkaç sözcük önce ya da sonra işaretlenir; bir cümlenin başı önceki konuşmacıya yazılır.
• Kısa sözler yanlış kişiye gider. Tek sözcüklük yanıtlar, çevresindeki uzun konuşmanın sahibine atanır.

Bu hataların hepsi, ses izine ek bir ipucu olduğunda azalır. O ipucunun ne olabileceğine, önce asıl zor durumu anlattıktan sonra geleceğiz.

Üst üste konuşma neden bu kadar zor?

Toplantılarda insanlar sırayla konuşmaz. Biri sözünü bitirirken öteki başlar, biri onay verirken diğeri soru sorar. Bu anlar kısa görünse de toplantının en önemli yerleri olabilir: itirazlar, pazarlık, “bir dakika, o fiyat öyle değildi” gibi düzeltmeler çoğu zaman sözün kesildiği yerde olur.

Tek mikrofonda iki ses tek dalgadır

Tek bir mikrofon, havadaki basınç değişimini tek bir dalga olarak kaydeder. İki kişi aynı anda konuştuğunda bu dalga iki sesin toplamıdır. Kayıtta “birinci kişinin sesi” ve “ikinci kişinin sesi” diye ayrı iki bilgi yoktur; yalnızca karışım vardır.

Klasik konuşmacı ayırma, her zaman diliminde tek bir konuşmacı olduğunu varsayar. Üst üste konuşmada bu varsayım bozulur:

• Ses izi iki sesin karışımından çıkar ve iki kişiden hiçbirine benzemez.
• Konuşma tanıma genellikle baskın sesi yazar, alçak sesi atlar ya da iki cümleyi tek cümlede karıştırır.
• Sonuçta deşifrede ya bir cümle kaybolur ya da yanlış kişiye yazılır.

Tek kanallı kayıtta iki sesi ayırmak için yalnızca tınılarının farkına güvenilebilir. Sinir ağı tabanlı ses ayrıştırma yöntemleri bunu belli ölçüde yapabilir, ama ses yankılı ve gürültülü olduğunda işleri zorlaşır.

Mikrofon dizisi neyi değiştirir?

Mikrofon dizisi, belli bir düzende yerleştirilmiş birden çok mikrofondur. Burada kritik bilgi, sesin her mikrofona farklı anda ulaşmasıdır.

Sesin geliş yönü

Masanın bir tarafında oturan kişinin sesi, o tarafa yakın mikrofona biraz daha erken, karşı taraftaki mikrofona biraz daha geç ulaşır. Aradaki fark çok küçüktür, ama mikrofonlar aynı saatle eşzamanlı kaydedildiğinde ölçülebilir. Bu varış farklarından sesin hangi yönden geldiği hesaplanır. Bu yönteme geliş yönü kestirimi (direction of arrival) denir.

Yön bilgisi konuşmacı ayırmaya yeni bir ipucu ekler. Toplantıda insanlar çoğu zaman yerlerinden kalkmaz; her konuşmacı masada belli bir yönde oturur. İki kişinin sesi birbirine benzese bile farklı yönlerden geliyorsa ayrılabilir.

Yöne göre dinleme

Mikrofon dizisi yalnızca yönü bulmakla kalmaz, belli bir yönü “dinleyebilir”. Huzme oluşturma (beamforming) denen yöntemde kanallar, istenen yönden gelen sesi güçlendirecek, diğer yönlerden gelenleri zayıflatacak biçimde birleştirilir. İki kişi aynı anda konuştuğunda her birinin yönüne ayrı ayrı odaklanmak, karışımı iki ayrı sese yaklaştırır. Bu sesler ayrı ayrı yazıya döküldüğünde iki cümle de deşifreye girer.

Tek mikrofon ile mikrofon dizisi

Yön bilgisi tek başına da yeterli değildir. Aynı yönde yan yana oturan iki kişi ya da masada dolaşan bir sunumcu yön ipucunu zayıflatır. Bu yüzden iyi bir sistem yönü ve ses izini birlikte kullanır.

Toplantı odası için pratik öneriler

Konuşmacı ayırmayı kolaylaştırmak için büyük değişiklik gerekmez:

• Cihazı masanın ortasına koyun. Herkesin cihaza benzer uzaklıkta olması, hem sesi hem yön bilgisini iyileştirir.
• Yan yana oturan konuşmacıları dağıtın. Mümkünse masanın farklı taraflarına oturmak, yönleri birbirinden ayırır.
• Toplantının başında tanışın. Her katılımcının adını söylemesi, konuşmacı gruplarına ad vermeyi kolaylaştırır.
• Cihazın üstünü açık bırakın. Mikrofonların üstüne dosya, bilgisayar ya da telefon koymayın.
• Gürültü kaynağını cihazdan uzak tutun. Projektör, klima çıkışı ya da kahve makinesi de bir “yön” olarak algılanır.
• Sözü kesmeyi azaltın. Mikrofon dizisi üst üste konuşmayı ayırmaya yardım eder, ama sırayla konuşma her zaman daha temiz kayıt verir.

Sesorel bunu nasıl yapıyor?

Sesorel cihazı masanın ortasına konur ve 70 mm çaplı dairesel bir dizideki 4 mikrofonla kayıt yapar. Kanallar aynı saatle kaydedildiği için Sesorel her konuşmacının masadaki yönünü bulur ve bu bilgiyi ses iziyle birlikte kullanarak konuşanları ayırır. İki kişi aynı anda konuştuğunda cümleler ayrı ayrı yazılır ve satırda üst üste konuşma etiketi görünür.

Deşifre sekmesinde her konuşmacının kendi rengi ve cümle sayısı vardır. Katılımcılar toplantının başında kendini tanıttıysa adları ve görevleri metinden çıkarılır; böylece “Konuşmacı 2” yerine kişinin adını görürsünüz. Ad ya da konuşmacı yanlışsa düzeltebilirsiniz. Başka bir cihazla alınmış kayıt yüklediğinizde yön bilgisi olmadığından konuşmacılar yalnızca sesten ayrılır. Kaydın yazıya dökülmesini etkileyen diğer etkenleri ses kaydını yazıya dökme yazımızda anlattık.

Sonuç

Konuşmacı ayırma, deşifreyi okunur kılan adımdır: kimin ne zaman konuştuğunu bilmeden bir toplantı metni yarım kalır. Sırayla konuşulan kayıtta ses izi çoğu zaman yeterlidir; üst üste konuşmada ise tek mikrofonun sınırına gelinir ve sesin geldiği yön belirleyici bir ipucu olur. Kendi toplantılarınızda nasıl sonuç verdiğini görmek isterseniz Sesorel’i 14 gün ücretsiz deneyin.