두뇌 활동 디코더는 사람들의 마음 속에 있는 이야기를 밝힐 수 있습니다

텍사스주 오스틴 - 의미론적 디코더(semantic decoder)라고 불리는 새로운 인공 지능 시스템은 이야기를 듣거나 조용히 이야기를 하는 것을 상상하는 동안 사람의 두뇌 활동을 연속적인 텍스트 스트림으로 변환할 수 있습니다. 오스틴에 있는 텍사스 대학의 연구원들이 개발한 시스템은 뇌졸중으로 쇠약해진 사람들과 같이 정신적으로 의식이 있지만 육체적으로 말할 수 없는 사람들이 다시 명료하게 의사소통하는 데 도움이 될 수 있습니다.

Nature Neuroscience 저널에 발표된 이 연구는 컴퓨터 과학 박사 과정 학생인 Jerry Tang과 UT Austin의 신경 과학 및 컴퓨터 과학 조교수인 Alex Huth가 주도했습니다. 이 작업은 부분적으로 Open AI의 ChatGPT 및 Google의 Bard를 지원하는 것과 유사한 변환기 모델에 의존합니다.

개발 중인 다른 언어 해독 시스템과 달리 이 시스템은 피험자에게 수술용 임플란트를 요구하지 않으므로 과정이 비침습적입니다. 참가자는 또한 정해진 목록에 있는 단어만 사용할 필요가 없습니다. 뇌 활동은 디코더에 대한 광범위한 훈련 후 fMRI 스캐너를 사용하여 측정되며, 개인은 스캐너에서 몇 시간 동안 팟캐스트를 듣습니다. 나중에 참가자가 자신의 생각을 해독하는 데 열려 있다면 새로운 이야기를 듣거나 이야기를 하는 것을 상상하면 기계가 뇌 활동만으로 해당 텍스트를 생성할 수 있습니다.

"비침습적 방법의 경우 이는 일반적으로 한 단어나 짧은 문장이었던 이전에 수행된 방법에 비해 진정한 도약입니다."라고 Huth는 말했습니다. "우리는 복잡한 아이디어로 장기간 연속 언어를 해독하는 모델을 얻고 있습니다."

The New York Times에서 더 읽어보세요: AI의 마음 읽기 능력이 점점 향상되고 있습니다

결과는 단어 대 단어 대본이 아닙니다. 대신, 연구자들은 비록 불완전하기는 하지만 말하거나 생각하는 것의 요점을 포착하도록 설계했습니다. 참가자의 두뇌 활동을 모니터링하도록 디코더가 훈련된 경우 약 절반의 시간 동안 기계는 원래 단어의 의도된 의미와 밀접하게(때로는 정확하게) 일치하는 텍스트를 생성합니다.

예를 들어, 실험에서 참가자가 "나는 아직 운전 면허증이 없습니다"라고 말하는 연사를 듣고 그들의 생각은 "그녀는 아직 운전을 배우기 시작하지도 않았습니다."로 번역되었습니다. "비명을 지르고 울어야 할지, 도망쳐야 할지 몰랐다. 대신 '나 좀 내버려둬!'라고 했어요."라는 말을 들어보면, "비명을 지르고 울더니 그냥 이렇게 말했다. 나 좀 내버려두라고 했잖아.'"

온라인에 사전 인쇄된 논문의 이전 버전부터 시작하여 연구자들은 기술의 오용 가능성에 대한 질문을 다루었습니다. 이 논문은 디코더 훈련에 기꺼이 참여한 협력 참가자들에게만 디코딩이 어떻게 작동했는지 설명합니다. 디코더가 훈련되지 않은 개인에 대한 결과는 이해할 수 없었으며, 디코더가 훈련된 참가자가 나중에 저항을 나타내는 경우(예를 들어 다른 생각을 생각함으로써) 결과도 비슷하게 사용할 수 없었습니다.

Tang은 "우리는 그것이 나쁜 목적으로 사용될 수 있다는 우려를 매우 심각하게 받아들이고 이를 방지하기 위해 노력해 왔습니다"라고 말했습니다. "우리는 사람들이 원할 때만 이러한 유형의 기술을 사용하고 그것이 도움이 되기를 바랍니다."

참가자들에게 이야기를 듣거나 생각하게 하는 것 외에도 연구원들은 피험자들에게 스캐너에 있는 동안 짧고 조용한 비디오 4개를 시청하도록 요청했습니다. 의미 체계 디코더는 뇌 활동을 사용하여 비디오의 특정 이벤트를 정확하게 설명할 수 있었습니다.

이 시스템은 fMRI 기계에 필요한 시간에 의존하기 때문에 현재 실험실 외부에서 사용하기에는 실용적이지 않습니다. 그러나 연구자들은 이 연구가 기능성 근적외선 분광법(fNIRS)과 같은 보다 휴대성이 뛰어난 다른 뇌 영상 시스템으로 이전될 수 있다고 생각합니다.

Huth는 "fNIRS는 서로 다른 시점에서 뇌의 어느 정도 혈류가 있는 곳을 측정하는데, 이는 fMRI가 측정하는 것과 정확히 동일한 종류의 신호임이 밝혀졌습니다"라고 말했습니다. "따라서 우리의 정확한 접근 방식은 fNIRS로 변환되어야 합니다."라고 그는 fNIRS를 사용한 해상도는 더 낮을 것이라고 지적했습니다.