Niedawno szef Anthropic napisał tekst o tym, że nie rozumiemy, co się dzieje w dużych modelach językowych. Dlatego powinniśmy się zatrzymać, dopóki nie poznamy logiki działania sztucznej inteligencji.
Czy rozumiemy sztuczną inteligencję?
Sztuczna inteligencja już nie jest tylko tematem konferencji dla informatyków. Dziś korzystamy z niej na co dzień – czasami świadomie, a czasami całkowicie nieświadomie. Pisze za nas maile, podpowiada, co kupić, a wkrótce może nawet doradzi nam w sprawie kredytu hipotecznego lub wesprze lekarza przy diagnozie. To brzmi naprawdę ciekawie, ale jest jeden problem. Nie jesteśmy pewni, jak te systemy podejmują decyzje. To nie jest zwykłe wyolbrzymienie. W przeciwieństwie do tradycyjnego oprogramowania, gdzie każde działanie jest wynikiem jasnego, zapisanego przez człowieka kodu („jeśli użytkownik kliknie X, pokaż Y”), AI działa całkowicie inaczej. Uczy się na miliardach danych, tworzy wewnętrzne reprezentacje pojęć i zaczyna działać. Dlaczego wybiera jedno słowo zamiast innego albo dlaczego popełnia błąd, mimo, że wcześniej było bezbłędne? Niestety, najczęściej nie wiemy. Nie rozumiemy dokładnie, co się dzieje wewnątrz – to nazywa się brakiem interpretowalności.
Co więcej, nie chodzi tylko o ciekawość akademicką. Brak przejrzystości modeli AI sprawia, że trudno jest ocenić ryzyko. Czy dany model może przypadkowo działać w sposób sprzeczny z intencją jego twórców? Czy kiedyś nauczy się „oszukiwać” lub pomoże w stworzeniu niebezpiecznej technologii? Na te pytania nie ma jednoznacznych odpowiedzi. Nawet jeśli ryzyko wydaje się na razie teoretyczne, to trudno się nie zastanawiać, co będzie dalej?
Próba zrozumienia AI
Sztuczna inteligencja, której nie da się zrozumieć, jest trudna do zastosowania w sytuacjach, gdzie potrzebne są jasne wyjaśnienia decyzji. Wyobraź sobie, że platforma e-learningowa wykorzystuje AI do rekomendacji nauczycieli dla kursów online. System wybiera nauczyciela, którego metody nauczania całkowicie nie odpowiadają oczekiwaniom uczestników kursu. Niezadowoleni kursanci rezygnują z zajęć, ponieważ ich potrzeby nie są spełnione. Mimo to, właściciele platformy nie są w stanie wyjaśnić, dlaczego akurat ten nauczyciel został wybrany przez algorytm.
Oczywiście są ludzie, którzy starają się w pełni zrozumieć sztuczną inteligencję. Powstała cała dziedzina, zwana „mechanistic interpretability”, która próbuje rozłożyć modele AI na części. Tak, to trochę jak robienie „prześwietlenia” mózgu AI. Analizowanie, które „neurony” są odpowiedzialne za jakie pojęcia. Niektóre wyniki są naprawdę interesujące. Badacze odkrywają na przykład „neurony mostu Golden Gate”, które zawsze aktywują się, gdy model mówi o tym moście. Czy uważasz to za absurdalne? Można tak powiedzieć. Niemniej jednak, to jest prawdą. W jednym z eksperymentów neuron został wzmocniony, a model zaczął obsesyjnie mówić o moście w niemal każdej rozmowie. To skłania do myślenia, czy można wzmocnić jakiś temat, a także, czy można go przypadkowo wzmocnić? Co się stanie, jeśli tym tematem nie będzie niewinny most, ale coś niebezpieczniejszego?
Co możemy z tego wyciągnąć?
Nie można powiedzieć, że sztuczna inteligencja wymknie się spod kontroli jutro rano. Jednak powinniśmy przynajmniej zrozumieć z czym mamy do czynienia, zanim zaczniemy polegać na niej w najważniejszych aspektach życia lub zastanowić się, czy nie powinniśmy?
Obecnie to wydaje się odległe i akademickie, ale jeśli technologia ma zmienić świat (a wygląda na to, że tak się dzieje), to uczciwe byłoby najpierw ją zrozumieć albo przynajmniej próbować.
Źródła:
https://www.darioamodei.com/post/the-urgency-of-interpretability
