OpenAI, büyük dil modellerinde (LLM) yaşanan gecikme sorununu Öngörülen Çıktılar (Predicted Outputs) adlı yeni bir geliştirici özelliğiyle çözmeye çalışıyor. Bu özellik, LLM çıktısının çoğunun önceden bilindiği durumlarda kullanılabilecek. Belgeleri düzenleme veya kodu yeniden düzenleme gibi görevler bu özellik kullanılarak iyileştirilebilecek. Öngörülen Çıktılar bilinen içeriği atlamak için varsayımsal kod çözmeyi kullanıyor ve yinelemeleri çok daha hızlı hale getiriyor.
Geliştiriciler, mevcut içeriği tahminleri olarak ileterek gecikmeyi önemli ölçüde azaltabilecek. Bunu yaparak, tüm içeriğin çok daha hızlı bir şekilde yeniden oluşturulabilmesi mümkün olacak.
OpenAI bu özelliği bazı harici ortaklarla test etmiş durumda ve sonuçlar da oldukça olumlu. Örneğin, Microsoft GitHub ekibinin dahili karşılaştırmalarına göre Copilot Workspace iş yüklerinde Öngörülen Çıktılar 5,8 kat hızlanmaya yol açtı.
Öngörülen Çıktılar kullanmak için geliştiriciler için bazı sınırlamalar mevcut. İlk olarak özellik sadece GPT-4o ve GPT-4o-mini model serileriyle destekleniyor. En son o1 modelleri ise desteklenmiyor. Ayrıca, Öngörülen Çıktılar kullanılırken şu mevcut API parametreleri desteklenmiyor:
- n values greater than 1
- logprobs
- presence_penalty greater than 0
- frequency_penalty greater than 0
- audio options
- modalities other than text
- max_completion_tokens
- tools – function calling is not supported
Bir tahmin sağlanırken, API’den nihai tamamlamanın parçası olmayan sağlanan tüm belirteçler tamamlama belirteci oranlarında ücretlendiriliyor.