Tesla’nın Autopilot sisteminin Florida’daki ölümlü bir kazada payı olduğu iddiasıyla yargı sürecine taşındığı bildirildi

1 Mart 2019 tarihinde Florida, Delray Beach’te Jeremy Banner yönetimindeki Tesla Model 3 aracın, otoyola çıkan bir tırın dorsesinin altına girmesi sonucu sürücünün hayatını kaybettiği bildirildi. Ulusal Ulaşım Güvenliği Kurulu (NTSB) tarafından yürütülen incelemede, kazadan yaklaşık 10 saniye önce Autopilot sisteminin devreye alındığı; ancak ne sürücünün ne de sistemin yaklaşan tırı fark ederek fren veya kaçınma manevrası yaptığına dair bir kanıt bulunamadığı belirtildi. Aracın çarpışma anında yaklaşık 111 km/s (69 mph) hızla seyrettiği kaydedildi.

NTSB raporunda, kazanın muhtemel nedeninin tır şoförünün geçiş önceliğine uymaması ile Tesla sürücüsünün otomasyon sistemine aşırı güvenmesi sonucu oluşan dikkatsizliği olduğu değerlendirildi. Kurul, Tesla’nın kısmi otomasyon sisteminin, sürücü katılımını denetleme konusunda yetersiz kaldığını ve sistemin tasarım sınırları dışındaki koşullarda kullanılmasına izin verdiğini öne sürdü. Banner ailesi tarafından açılan davada, Tesla’nın pazarlama stratejilerinin tüketicilerde sistemin yeteneklerine dair yanlış bir güven algısı oluşturduğu ve ürünün tasarım itibarıyla kusurlu olduğu iddia edildi.

Tesla ise sistemin "dikkatli bir sürücü tarafından uygun şekilde kullanıldığında" güvenli olduğunu savunmaktadır. Şirket, kullanım kılavuzlarında Autopilot’un aracı tamamen otonom hale getirmediğinin ve sürücünün her an müdahaleye hazır olması gerektiğinin açıkça belirtildiğini vurguladı. Şirket verilerine dayanarak, sürücünün çarpışma öncesindeki süreçte ellerini direksiyondan çektiği ileri sürülmüş; ancak ailenin avukatları, sistemin sensör verilerinin sürücü katılımını her zaman doğru yansıtmadığını iddia etmiştir.

Olay, yapay zekâ destekli sürücü sistemlerinin güvenliği ve bu sistemlerin pazarlanma biçimlerine yönelik hukuki sorumluluk tartışmalarını gündeme getirmiştir. NTSB, Tesla’nın yanı sıra Ulusal Karayolu Trafik Güvenliği İdaresi’ni (NHTSA) de Seviye 2 otomasyon sistemleri için yeterli güvenlik korumaları geliştirmediği gerekçesiyle eleştirmiştir.