Ses kaydını yazıya dökme: yapay zekâ neyi iyi yapıyor?
Konuşma tanıma modelleri temiz kayıtta güçlü, üst üste konuşmada ve özel terimlerde zayıf. Kaliteyi belirleyen etkenler ve iyi bir kayıt için yapmanız gerekenler.
Sesorel Ekibi 7 dk okuma
Ses kaydını yazıya dökme, bugün çoğu durumda yapay zekâ ile dakikalar içinde yapılabiliyor. Konuşanın mikrofona yakın olduğu, ortamın sessiz olduğu ve insanların sırayla konuştuğu kayıtlarda sonuç genellikle okunur ve kullanılabilir. Zorluk; uzak mikrofonda, gürültüde, aynı anda konuşulan anlarda ve özel terimlerde başlar. Bu yazıda konuşma tanımanın nasıl çalıştığını, kaliteyi neyin belirlediğini ve kaydınızı nasıl hazırlayacağınızı anlatıyoruz.
Konuşma tanıma nasıl çalışır?
Bilgisayar sesi doğrudan “duymaz”. Mikrofon havadaki basınç değişimini sayılara çevirir; saniyede binlerce ölçümden oluşan bu dizi, modelin girdisidir. Model bu sayıları kısa parçalara böler ve her parçanın frekans içeriğini çıkarır. Sonra bu akustik bilgiden en olası sözcük dizisini tahmin eder.
Eski yaklaşım: parçalı sistemler
Uzun yıllar boyunca konuşma tanıma birkaç ayrı bileşenden oluşuyordu: sesi ses birimlerine eşleyen bir akustik model, ses birimlerini sözcüklere bağlayan bir sözlük ve hangi sözcüğün hangisinin ardından gelebileceğini tahmin eden bir dil modeli. Her bileşen ayrı eğitilir, ayrı ayarlanırdı.
Bugünkü yaklaşım: uçtan uca modeller
2010’ların ortasından bu yana yaygınlaşan uçtan uca modeller bu parçaları tek bir sinir ağında birleştirir. Model, ses ve karşılığındaki metinden oluşan çok büyük veriyle eğitilir ve sesten metne doğrudan geçmeyi öğrenir. Bu modellerin iki güçlü yanı vardır:
- Bağlamı kullanırlar. Bir sözcüğü yalnızca sesinden değil, cümlenin geri kalanından da tahmin ederler. Bu yüzden biraz bozuk söylenmiş bir sözcüğü çoğu zaman doğru yazarlar.
- Noktalama ve büyük harf üretebilirler. Eski sistemlerin ürettiği düz sözcük dizisi yerine okunabilir cümleler çıkar.
Ama bu güç bir zaafı da beraberinde getirir: model emin olmadığı yerde akıcı ama yanlış bir cümle kurabilir. Duyulmayan bir bölümü “tamamlamak”, boş bırakmaktan daha tehlikelidir; çünkü okuyan kişi hatayı fark etmez. Bu yüzden iyi bir deşifre aracında metni sesle karşılaştırabilmek önemlidir.
Kaliteyi ne belirler?
Aynı model, iki farklı kayıtta çok farklı sonuç verebilir. Kaliteyi belirleyen etkenleri kabaca beş başlıkta toplayabiliriz.
Mikrofon uzaklığı
En büyük etken budur. Konuşan kişi mikrofondan uzaklaştıkça doğrudan gelen ses zayıflar, duvarlardan ve masadan yansıyan ses güçlenir. Yankılı bir sesi model, hem sözcükleri ayırt etmekte hem de konuşanı tanımakta zorlanır. Odanın bir köşesine bırakılmış telefon ile masanın ortasındaki bir mikrofon arasındaki fark, çoğu zaman model farkından büyüktür.
Arka plan gürültüsü
Klima uğultusu, kahve makinesi, açık pencereden gelen trafik, kâğıt hışırtısı ya da masaya vurulan kalem; hepsi konuşmayla aynı kayda girer. Sürekli ve düzgün gürültüler görece kolay bastırılır. Ani ve konuşmaya benzeyen sesler, örneğin yan masadaki sohbet, çok daha zordur.
Üst üste konuşma
Toplantılarda insanlar birbirinin sözünü keser, onay verir, aynı anda soru sorar. Tek bir mikrofonda iki ses tek bir dalga olarak karışır. Model çoğu zaman baskın olan sesi yazar, diğerini atlar ya da iki cümleyi birbirine karıştırır. Bu konuyu ayrıntılı olarak konuşmacı ayırma yazımızda ele alıyoruz.
Ağız, aksan ve konuşma hızı
Modeller, eğitim verisinde sık gördükleri konuşma biçimini daha iyi tanır. Belirgin bir yöresel ağız, çok hızlı konuşma, yutulan hece ya da yarım bırakılan cümleler hata olasılığını artırır. Türkçenin eklemeli yapısı da işe karışır: tek bir sözcüğün sonundaki bir ek yanlış duyulduğunda cümlenin anlamı değişebilir.
Alana özgü terimler
Ürün kodları, marka adları, kişi ve şirket adları, sektör kısaltmaları modelin eğitim verisinde az geçer. Model bu sözcükleri kendine tanıdık gelen bir sözcükle değiştirmeye eğilimlidir. Bir satış görüşmesinde en önemli bilgiler, yani ürün adı, fiyat ve müşteri adı, tam da bu gruba girer.
Yapay zekâ bugün neyi iyi, neyi zor yapıyor?
Kısaca özetlemek gerekirse:
- İyi yaptığı: temiz kayıtta akıcı konuşmayı yazmak, noktalama koymak, sıradan sözcük dağarcığını doğru tanımak, uzun kayıtları hızla işlemek.
- Hâlâ zor olan: aynı anda konuşan iki kişiyi ayrı ayrı yazmak, uzak ve yankılı mikrofondan gelen sesi tanımak, nadir geçen adları doğru yazmak, duyulmayan yerde “uydurmadan” boş bırakmak, sayıları ve tarihleri her zaman doğru biçimde vermek.
Bu yüzden otomatik deşifreyi “bitmiş belge” değil, “çok iyi bir ilk taslak” olarak görmek gerçekçidir. Taslağın değeri, kontrolün ne kadar kolay olduğuna bağlıdır.
İyi bir kayıt için ne yapmalısınız?
Yazıya dökme kalitesinin büyük kısmı, kayıt düğmesine basmadan önce belirlenir. Toplantıdan önce şu adımları izleyin:
- Mikrofonu konuşanlara yaklaştırın. Masanın ortası, herkesin aşağı yukarı eşit uzaklıkta olduğu yerdir. Kayıt cihazını çantanın içinde ya da masanın ucunda bırakmayın.
- Gürültü kaynaklarını azaltın. Mümkünse kapıyı kapatın, gürültülü cihazları kapatın, kayıt cihazının üstüne kâğıt ya da dosya koymayın.
- Toplantının başında tanışın. Herkesin adını ve görevini söylemesi, metinde kimin konuştuğunu anlamayı kolaylaştırır.
- Özel adları açık söyleyin. Ürün kodu, şirket adı ya da teknik bir terim ilk geçtiğinde bir kez açık ve yavaş söylemek, deşifrede düzeltilecek yeri azaltır.
- Sırayla konuşmaya özen gösterin. Tartışmanın kızıştığı anlarda bile sözü bitirmeye izin vermek, hem toplantıya hem kayda iyi gelir.
- Katılımcılara kayıt yapıldığını söyleyin. Bu, kişisel verilerin korunması açısından da önemlidir; ayrıca kaydın farkında olan insanlar daha net konuşur.
Elle mi, otomatik mi yazıya dökmeli?
Elle deşifre, bir kişinin kaydı dinleyip yazması demektir. Otomatik deşifrede bu işi model yapar, insan yalnızca kontrol eder. İkisini karşılaştırınca tablo şöyle:
| Ölçüt | Elle deşifre | Otomatik deşifre |
|---|---|---|
| Süre | Kaydın kendisinden çok daha uzun sürer | Kayıt işlendikten sonra hazırdır |
| Emek | Dinleme, durdurma, geri sarma, yazma | Okuma ve gerektiğinde düzeltme |
| Özel adlar | Yazan kişi tanıyorsa doğru | Sık hata yapılan yer, kontrol gerekir |
| Üst üste konuşma | Dikkatli dinleyen kişi ayırabilir | Tek mikrofonda zor; mikrofon dizisi yardımcı olur |
| Konuşmacı bilgisi | Yazan kişi sesleri tanımalıdır | Konuşmacı ayırma ile otomatik etiketlenir |
| Zaman damgası | Elle eklenir, çoğu zaman eklenmez | Her cümle için otomatik gelir |
| Arama | Belge içinde düz metin araması | Metinde arama ve bulunan ana sesle gitme |
| Gizlilik | Kayıt bir kişiye ya da hizmet firmasına gider | Modelin nerede çalıştığına bağlıdır |
Son satır sık atlanır. Otomatik deşifre bir bulut servisinde yapılıyorsa ses kaydınız kuruluşunuzun dışına çıkar. Müşteri görüşmeleri gibi hassas kayıtlarda modelin nerede çalıştığını sormak, doğruluğu sormak kadar önemlidir.
Otomatik deşifreyi nasıl kontrol etmeli?
Metni baştan sona sesle karşılaştırmak, elle yazmak kadar zaman alır. Bunun yerine kontrolü hataların toplandığı yerlere yöneltin:
- Adlar ve rakamlar. Kişi, şirket ve ürün adlarını, fiyatları, miktarları ve tarihleri dinleyerek doğrulayın. Bir rapora ya da e-postaya girecek bilgi çoğu zaman bunlardır.
- Akışı bozulan cümleler. Anlamsız görünen ya da birden konu değiştiren bir cümle, çoğu zaman yanlış duyulmuş ya da iki konuşmanın karıştığı bir yerdir.
- Konuşmacı değişimleri. Bir cümlenin yanlış kişiye yazılması, sözcük hatasından daha büyük yanlış anlamaya yol açabilir; özellikle kararlar ve sözler için kimin konuştuğunu kontrol edin.
- Kısa onaylar. “Tamam”, “olur”, “anlaştık” gibi kısa yanıtlar kolayca kaybolur ya da başkasına yazılır; ama bir kararın kanıtı olabilir.
Kontrol ettiğiniz yeri düzeltip kaydetmek, metni sonradan okuyacak herkes için deşifreyi güvenilir kılar.
Sesorel bunu nasıl yapıyor?
Sesorel, yüz yüze yapılan toplantılar için tasarlandı ve yukarıdaki zorlukların bir kısmını kayıt aşamasında çözmeye çalışır. Sesorel cihazı masanın ortasına konur ve 4 mikrofonlu dairesel diziyle kayıt yapar; böylece konuşanlarla mikrofon arasındaki uzaklık kısalır. Mikrofon dizisi sesin geldiği yönü de bulur. Sesorel bu yön bilgisini ses iziyle birlikte kullanarak konuşanları ayırır; iki kişi aynı anda konuştuğunda cümleler ayrı ayrı yazılır ve satırda üst üste konuşma etiketi görünür.
Kayıt toplantı bittikten sonra toplu olarak işlenir. Deşifre sekmesinde her cümlenin zamanı ve konuşmacısı görünür. Bir cümleye tıkladığınızda ses o andan çalar; böylece emin olmadığınız yeri dinleyip kontrol edersiniz. Yanlış duyulan bir sözcüğü ya da konuşmacıyı düzeltebilir, deşifreyi Word ya da düz metin olarak indirebilirsiniz. Toplantının başında katılımcılar kendini tanıttıysa adları ve görevleri metinden çıkarılır.
Deşifre ve rapor için kullanılan modeller Sesorel’in kendi sunucularında, dilerseniz sizin sunucunuzda çalışır; ses dışarıdaki bir yapay zekâ servisine gönderilmez. Seçenekleri kurulum seçenekleri sayfasında bulabilirsiniz. Deşifreden sonra Sesorel görüşmenin satış raporunu da hazırlar.
Sonuç
Ses kaydını yazıya dökmek artık saatler süren bir iş değil. Ama iyi sonucun yolu iyi kayıttan geçer: konuşanlara yakın bir mikrofon, sessiz bir ortam ve sırayla konuşma. Otomatik deşifreyi bir ilk taslak olarak görün ve sesle kolayca kontrol edebileceğiniz bir araç seçin. Kendi toplantılarınızda nasıl çalıştığını görmek isterseniz Sesorel’i 14 gün ücretsiz deneyin.