Sztuczna inteligencja i nauczanie maszynowe to terminy, które robią w ostatnim czasie oszałamiającą karierę. Praktycznie każdy producent procesorów w architekturze ARM wyposaża swoje modele w dodatkowe moduły pozwalające na stosowanie rozbudowanych algorytmów do wydajniejszego i lepszego jakościowo wykonywania zadań. Jedną z popularniejszych dziedzin, w których te mechanizmy pomagają, jest mobilna fotografia. To właśnie dzięki zaawansowanym technikom analizy niewielkie matryce aparatów potrafią robić zdjęcia, które dla laika mogą wyglądać jak te z lustrzanki. Sony właśnie zaprezentowało pierwsze przetworniki obrazu, które nie będą wymagały zewnętrznego układu AI, ponieważ takowe zostały zintegrowane z nim w jedną całość.
Zalety
Integracja układów AI bezpośrednio w przetworniku niesie ze sobą szereg zalet. Po pierwsze znaczną oszczędność w przesyle danych pomiędzy nim a procesorem głównym. Jeśli układ AI znajduje się „na zewnątrz”, dla uzyskania dobrych efektów trzeba wysyłać całą klatkę lub strumień video, często jeszcze w kilku wersjach (np. różnie naświetlony). Przetwornik zintegrowany z AI sam wybierze, z których danych ma korzystać, a które można przy przetwarzaniu ominąć i wykona wszystkie obliczenia praktycznie w czasie rzeczywistym.
Takie podejście powinno się też przyczynić się do obniżenia poboru mocy całego urządzenia. Do procesora ARM byłyby przesyłane przetworzone i gotowe dane. Brak ciągłego przerzucania dużych ilości materiału powinien też zniwelować opóźnienia i zwiększyć możliwości przetwarzania w czasie rzeczywistym. Ponieważ przetwornik posiada wbudowaną własną pamięć do obliczeń AI, pozwoli to też zaoszczędzić wykorzystanie pamięci głównej urządzenia.
Te wszystkie zalety zwielokrotniają się, jeśli za przetwarzanie AI odpowiada nie procesor, ale zewnętrzna chmura obliczeniowa. Wtedy nie dość, że upraszczamy wszystko od technologicznej strony, to jeszcze zwiększamy bezpieczeństwo naszych danych, po prostu likwidując całą wędrówkę naszych danych.
Budowa
Jak podano na konferencji, cały układ ma budowę warstwową. Wyższa to klasyczna matryca światłoczuła typu BSI, pod którą znajdziemy zespół układów logicznych z pamięcią, procesorem sygnałowym (DSP) oraz procesorem obrazu (ISP). W pamięci procesora można zapisać różne modele AI, w związku z czym takie same urządzenia, będą w stanie wykonywać różnego rodzaju zadania. Na przykład kamery w sklepie będzie można tak skonfigurować, żeby każda odpowiadała za analizę innego zagadnienia, jedna policzy klientów, inna zaalarmuje obsługę o pustkach na półkach.
Wydajność i niewielkie opóźnienia tych układów powinny poprawić także jakość śledzenia obiektów w czasie rzeczywistym. Niestety, na moje pytanie, czy te układy są w stanie zniwelować w jakimś stopniu irytujący efekt rolling shutter, dokuczliwy szczególnie przy nagrywaniu materiału video, uzyskałem odpowiedź negatywną. Mam jednak cichą nadzieję, że moje pytanie wywoła jakiś ferment i ktoś w Sony sprawdzi, czy istnieje taka możliwość :). Jeśli nie teraz, to może w kolejnych wersjach takich układów.
Przeznaczenie
Rodzajów urządzeń, w których można zastosować nowe układy jest bardzo dużo. Możemy wyobrazić sobie ich zastosowanie w smartfonach, komputerach, systemach nadzoru video czy w zaawansowanych systemach przemysłowych. Dzięki likwidacji konieczności przetwarzania danych w chmurze, będzie można bezpiecznie i zachowaniem prywatności korzystać z systemów rozpoznawania twarzy, na przykład w urządzeniach Smart Home czy Smart Car. Jednak najciekawszym kierunkiem będzie zastosowanie ich w robotyce, tak aby zapewnić tym urządzeniom quasi-ludzki sposób widzenia czy też interpretowania otoczenia.
Niestety na chwilę obecną przedstawiciele Sony nie ujawnili żadnego produktu w którym procesor ma się pojawić, ale z racji tego, że wersje produkcyjne procesorów mają się niebawem pojawić, można spodziewać się takich urządzeń na przełomie roku. Moim faworytem na spektakularny, praktyczny debiut tej technologii byłaby kolejna wersja robota-szczeniaka Sony Aibo.
Układ o którym mowa w powyższym artykule został oznaczony jako IMX500, ma rozmiar 1/2,3 cala oraz rozdzielczość 12,3 Mpix. Sam układ jest dostępny już dzisiaj, jego rozbudowana wersja (w obudowie, oznaczona IMX501) ma zadebiutować w czerwcu. Sony wyceniło swoje nowości na odpowiednio 10000 i 20000 jenów (ok. 400 i 800 zł).
