김덕진

이런 얘기를 하면서 사이언티스트 AI를 만들자.

이런 얘기를 했어요.

네.

이게 뭐냐면 지금 AI는 우리가 어떤 걸 쓰든지 약간 블랙박스 같은 게 있잖아요.

뭔가 우리가 얘기를 하면 환경이

어떻게 보면 그에 대해서 사용자에게 원하려는 답을 주거나 목표 달성에서 최적화를 하는데 사이언티스트 AI는 뭐냐면 확률에 기반해서 정직하게 예측을 하고 특정 위험 확률을 넘으면 스스로 행동을 거부하는 이런 어떻게 보면 논문이나 과학적 기반의 이런 식의 AI를 만들자라는 거예요.

그래서 뭔가 일종의

위험 인계치를 넘으면 스스로 멈추게도 만들게 해서 예를 들면 원자력발전소처럼 위험 확률이 몇 퍼센트를 넘으면 스스로 멈추는 구조를 AI에게 적용하자.

그래서 AI 시스템 도입 시에 거부 조건이라는 걸 설계 단계에서부터 정의해야 되고 제일 중요한 건 AI가 언제 아니오라고 말해야 되는가를 정하라는 거예요.

지금 채찍 PT는 아니오는 잘 안 하잖아요.

그런 것들에 대해서 정확하게 노를 할 수 있는 걸 만들어야 된다는 거고요.

최진 교수님 같은 경우도 비슷한 이야기를 했는데

AI가 지금 약간 대부분은 학습하는 거 그다음에 학습하고 서비스하는 게 나눠져 있잖아요 이거를 계속 사람처럼 일단 서비스를 하는 중에서도 계속 공부를 하는 지속학습이 필요하다는 거예요 그렇게 하려면 위험할 수 있다는 겁니다 예를 들면 AI가 막 서비스를 하는데 새로운 걸 계속 배우면 새로운 게 어떤 건지 쉽게 말해서 이게 위험한 건지 이런 걸 모르고 그냥 계속 공부를 할 수 있잖아요 네

그러니까는 안전 테스트에 대해서 좀 새로 배워야 된다.

그래서 여기서도 포인트가 뭐냐면 ai한테 학습 거부 능력을 만들어야 된다.

이런 얘기를 한 거예요.

앞서서는 ai가 아닌 건 아니라고 노해야 된다는 거고 이거는

데이터를 보고 만약에 ai가 유해 데이터다라고 판단이 되면 이거는 스스로 학습을 못하게 그래서 ai가 스스로에 대한 데이터에 대한 거부권을 가질 수 있게 해야 된다.

이런 얘기들까지 나오고 있는 것이죠.

그리고 또 유바라리의 발언은 더 직설적이었는데 이 표현이 상당히 흥미롭습니다.