Yapay zekâ sohbet botlarıyla konuşurken sık sık karşımıza çıkan “token” kavramı, modellerin metinleri nasıl işlediğini anlamak açısından büyük önem taşıyor. Peki token nedir, bir kelimeyle aynı şey midir ve ChatGPT verdiğimiz soruları neden tokenlara ayırır?
Token nedir?
Token, yapay zekâ modellerinin metinleri işlerken kullandığı temel birimlerden biridir. Bir token bazen tek bir kelimeyi, bazen kelimenin yalnızca bir bölümünü, bazen de noktalama işaretini temsil edebilir. Bu nedenle token ile kelime aynı şey değildir.
Örneğin İngilizcede yaygın ve kısa bir kelime tek bir token olarak temsil edilebilirken, daha uzun veya daha az yaygın kelimeler birkaç parçaya ayrılabilir. Boşluklar, noktalama işaretleri ve kullanılan dil de token sayısını etkileyebilir.
OpenAI, İngilizce için kabaca 1 tokenın 4 karaktere veya 0,75 kelimeye denk gelebildiğini belirtiyor. Ancak bu yalnızca yaklaşık bir değerdir ve Türkçe gibi farklı dillerde aynı metin farklı sayıda token oluşturabilir.
ChatGPT metinleri neden tokenlara ayırıyor?
ChatGPT gibi büyük dil modelleri metinleri doğrudan insanın okuduğu şekilde işlemiyor. Kullanıcının yazdığı mesaj önce tokenlara dönüştürülüyor. Model daha sonra bu tokenları analiz ederek bağlamı anlamaya ve uygun bir yanıt oluşturmaya çalışıyor.
OpenAI'nin açıklamasına göre model, eğitim sırasında metinlerdeki kelimeler ve ifadeler arasındaki ilişkileri öğreniyor. Yanıt üretirken de bağlamı değerlendirerek sıradaki en olası kelimeyi veya tokenı tahmin ediyor.
Bu nedenle ChatGPT'ye gönderilen bir soru ile modelin oluşturduğu cevap arasında tokenlar önemli bir köprü görevi görüyor.
Bir mesaj kaç token eder?
Bir mesajın token sayısı sabit değildir. Aynı uzunluktaki iki metin farklı token sayılarına sahip olabilir. Bunun nedeni kelimelerin yapısı, dil, noktalama işaretleri ve kullanılan modelin tokenizasyon yöntemidir.
Örneğin 1.000 kelimelik iki farklı metnin token sayıları birbirinden farklı olabilir. Özellikle Türkçe gibi eklemeli dillerde kelimelerin çok sayıda ek alabilmesi token sayısını etkileyebilir.
Bu nedenle “1 token = 1 kelime” şeklinde düşünmek doğru değildir.
Token sayısı neden önemli?
Token kavramının önemli olmasının birkaç nedeni bulunuyor. Bunlardan ilki, yapay zekâ modellerinin aynı anda işleyebileceği metin miktarının tokenlarla ölçülmesi. Bir modelin bağlam penceresi, gönderilen girdinin ve oluşturulan çıktının birlikte ne kadar token içerebileceğini belirliyor.
Örneğin uzun bir belgeyi yapay zekâya gönderdiğinizde modelin yalnızca metnin karakter veya kelime sayısına değil, oluşan toplam token miktarına göre de sınırları bulunuyor. Çok uzun konuşmalarda veya büyük belgelerde bu nedenle bağlam penceresi önemli hale geliyor.
Tokenlar ayrıca API kullanımında maliyet hesaplamalarında da kullanılıyor. OpenAI'nin API fiyatlandırmasında giriş ve çıkış tokenları ayrı şekilde değerlendiriliyor. Önbelleğe alınan tokenlar için de farklı fiyatlandırmalar uygulanabiliyor.
Girdi ve çıktı tokenları nedir?
Yapay zekâ kullanımında tokenlar genel olarak girdi ve çıktı olmak üzere ikiye ayrılabilir.
Girdi tokenları, kullanıcının modele gönderdiği metin ve modele sağlanan diğer içeriklerden oluşur. Çıktı tokenları ise modelin oluşturduğu yanıtta yer alan tokenlardır. OpenAI ayrıca bazı akıl yürütme modellerinin görünür yanıtı oluşturmadan önce dahili olarak kullandığı reasoning tokenlarından da söz ediyor.
Bu nedenle ekranda kısa görünen bir yanıtın arka planda kullanılan toplam token miktarı, yalnızca görünen metnin token sayısından daha yüksek olabilir.
Token sayısını nasıl öğrenebilirsiniz?
Bir metnin kaç token içerdiğini öğrenmek için OpenAI'nin Tokenizer aracı kullanılabiliyor. Bu araç, yazdığınız metnin hangi parçalara ayrıldığını görmenizi sağlıyor. OpenAI ayrıca geliştiricilerin programlama tarafında tiktoken gibi araçlardan yararlanabileceğini belirtiyor.
Ancak yalnızca düz metni saymak her zaman yeterli olmayabilir. API isteklerinde mesaj yapısı, araçlar, görseller, dosyalar ve diğer içerikler de toplam token hesabını etkileyebiliyor.
Token ile bağlam penceresi arasındaki fark nedir?
Bu iki kavram birbiriyle yakından ilişkili olsa da aynı anlama gelmiyor. Token, metnin modele ayrıştırıldığı temel birimken bağlam penceresi modelin tek bir işlem kapsamında dikkate alabileceği toplam bilgi miktarını ifade ediyor.
Dolayısıyla daha büyük bağlam penceresine sahip bir model, teorik olarak daha uzun konuşmaları veya daha büyük metinleri aynı oturum içinde işleyebiliyor. Ancak bu kapasite kullanılan modele göre değişiyor ve giriş ile oluşturulan çıktının toplamı modelin belirlediği sınırlar içinde kalıyor.
Token kısaca ne anlama geliyor?
Özetlemek gerekirse token, ChatGPT gibi yapay zekâ modellerinin metinleri işleyebilmesi için kullandığı temel parçalardan biri. Bir tokenın mutlaka bir kelime olması gerekmiyor; kelimenin bir bölümü, boşluk veya noktalama işareti de token olarak temsil edilebiliyor.
Bu sistem sayesinde modeller büyük miktardaki metni sayısal olarak işleyip bağlam içerisindeki ilişkileri değerlendirebiliyor. Token sayısı aynı zamanda bağlam kapasitesi, API kullanımı ve maliyet gibi konularda da doğrudan önem taşıyor. Bu nedenle yapay zekâ araçlarında token kavramını bilmek, özellikle uzun metinlerle veya API tabanlı servislerle çalışan kullanıcılar için oldukça faydalı.
