Anthropic, Claude 3.5 Sonnet AI modeli için genel beta sürümüne yeni bir özellik ekledi; bu özellik, yapay zekanın bir bilgisayarla insana benzer şekilde etkileşime girmesine olanak tanıyor. “Bilgisayar kullanımı” olarak adlandırılan bu yetenek, Claude'un ekranı taramasına, imleci hareket ettirmesine, düğmelere tıklamasına ve metin yazmasına olanak tanır. İşlevsellik şu anda API aracılığıyla sağlanıyor ve geliştiricilere Claude'u bir bilgisayarla etkileşim gerektiren uygulamalara entegre etme yeteneği veriyor. Gösterim videosunda Claude'un Mac üzerinde çalışması gösteriliyor ve süreç otomasyonu ve kullanıcı desteği için yeni perspektifler açılıyor.
Microsoft (Copilot Vision ile), OpenAI (ChatGPT için masaüstü uygulamasıyla) ve Google (Android için Gemini ile) gibi diğer şirketler zaten yapay zeka ile bilgisayar ekranı arasındaki etkileşimi araştırmış olsa da Anthropic, araçları piyasaya süren ilk şirket gibi görünüyor. bu türden büyük çapta. “Bilgisayar kullanımı” özelliğinin hala deneysel olduğunu ve Anthropic'in işaret ettiği gibi doğruluk ve akıcılık açısından sınırlamalara sahip olabileceğini unutmamak önemlidir. Sürükleme ve yakınlaştırma gibi bazı yaygın eylemler henüz Claude tarafından desteklenmemektedir. Ayrıca sürekli bir video akışı yerine bir dizi ekran görüntüsüne dayanan ekran analiz sistemi, bildirimler gibi geçici öğelerin gözden kaçırılmasına neden olabilir.
Anthropic ayrıca Claude'un hassas alanlarda kullanımını sınırlamak için güvenlik önlemlerini de uygulamaya koydu. Örneğin yapay zekanın seçimle ilgili faaliyetlerde, sosyal medyada içerik üretmek ve yayınlamak için, web alan adlarını kaydettirmek için veya devlet siteleriyle etkileşim için kullanılmasını önleyecek mekanizmalar mevcut. Yeni “bilgisayar kullanımı” özelliğine ek olarak Claude 3.5 Sonnet, özellikle kodlama ve araç kullanımı söz konusu olduğunda çeşitli kıyaslamalarda önemli iyileştirmeler sunuyor. Kodlama performansı, OpenAI o1-önizleme ve özel sistemler gibi akıl yürütme modelleri de dahil olmak üzere diğer genel modellerin performansını aşarak önemli ölçüde arttı.
Microsoft (Copilot Vision ile), OpenAI (ChatGPT için masaüstü uygulamasıyla) ve Google (Android için Gemini ile) gibi diğer şirketler zaten yapay zeka ile bilgisayar ekranı arasındaki etkileşimi araştırmış olsa da Anthropic, araçları piyasaya süren ilk şirket gibi görünüyor. bu türden büyük çapta. “Bilgisayar kullanımı” özelliğinin hala deneysel olduğunu ve Anthropic'in işaret ettiği gibi doğruluk ve akıcılık açısından sınırlamalara sahip olabileceğini unutmamak önemlidir. Sürükleme ve yakınlaştırma gibi bazı yaygın eylemler henüz Claude tarafından desteklenmemektedir. Ayrıca sürekli bir video akışı yerine bir dizi ekran görüntüsüne dayanan ekran analiz sistemi, bildirimler gibi geçici öğelerin gözden kaçırılmasına neden olabilir.
Anthropic ayrıca Claude'un hassas alanlarda kullanımını sınırlamak için güvenlik önlemlerini de uygulamaya koydu. Örneğin yapay zekanın seçimle ilgili faaliyetlerde, sosyal medyada içerik üretmek ve yayınlamak için, web alan adlarını kaydettirmek için veya devlet siteleriyle etkileşim için kullanılmasını önleyecek mekanizmalar mevcut. Yeni “bilgisayar kullanımı” özelliğine ek olarak Claude 3.5 Sonnet, özellikle kodlama ve araç kullanımı söz konusu olduğunda çeşitli kıyaslamalarda önemli iyileştirmeler sunuyor. Kodlama performansı, OpenAI o1-önizleme ve özel sistemler gibi akıl yürütme modelleri de dahil olmak üzere diğer genel modellerin performansını aşarak önemli ölçüde arttı.