본문 바로가기

IT

인공지능 기업의 투명성 감소

AI 기업들의 투명성 점수 확인

- 2023년 10월 18일, Stanford University에서 발표된 Foundation Model Transparency Index에 따르면, AI 기업들의 투명성이 감소하고 있음.
- 예를 들어, OpenAI는 그 이름에 'open'이 들어가 있음에도 불구하고 GPT-4와 같은 주요 모델의 대부분 측면에 대해 투명하지 않을 것이라 명확하게 밝혔음.
- 이러한 투명성 부족은 상업용 기반 모델을 활용하는 애플리케이션을 안전하게 개발할 수 있는지, 학계에서 연구에 상업용 기반 모델을 활용할 수 있는지, 정책 결정자가 이 강력한 기술을 규제할 의미 있는 정책을 설계할 수 있는지, 소비자가 모델의 한계를 이해하거나 모델로 인한 피해에 대한 구제를 어떻게 신청할 수 있는지를 어렵게 만듭니다.

Foundation Model Transparency Index

- 투명성을 평가하기 위해, Stanford, MIT 및 Princeton의 다학제 팀은 Foundation Model Transparency Index(FMTI)라는 점수 시스템을 설계함.
- FMTI는 회사가 기반 모델을 어떻게 구축하고 작동하는지, 그리고 하류에서 어떻게 사용되는지와 같은 투명성 100가지 다른 측면을 평가함.
- 10개 주요 Foundation Model 기업을 평가한 결과, 가장 높은 점수는 47에서 54로 범위가 제한되어 있으며, 가장 낮은 점수는 12로 나타남.

투명성의 중요성

- 투명성 부족은 디지털 기술 소비자에게 오랫동안 문제가 되었음.
- 상업용 Foundation Model 주변의 투명성 감소로 인해 소비자 보호에 대한 유사한 위협이 발생하고 있음.
- 또한 상업용 Foundation Model 주변의 투명성은 AI 정책 노력을 진전시키고 산업 및 학계의 상류 및 하류 사용자가 이러한 모델과 작업을 하는 데 필요한 정보를 보유하고 결정을 내릴 수 있도록 해야 함.

FMTI 작성

- FMTI를 작성하기 위해 100가지 다양한 투명성 지표를 개발함.
- 이러한 기준은 AI 문헌 및 소비자 보호에 관한 더 성숙한 관행이 있는 소셜 미디어 분야에서 파생됨.
- 이러한 지표의 대략 1/3은 기반 모델 개발자가 모델을 어떻게 구축하는지에 관한 정보에 관련되며, 이 정보에는 교육 데이터, 해당 데이터를 생성하는 데 사용된 노동 및 관련 컴퓨팅 자원에 대한 정보가 포함됨.

- 최고 모델 제작자를 평가하기 위해 연구팀은 각 회사의 주요 기반 모델에 대한 공개 정보를 수집하기 위한 구조화된 검색 프로토콜을 사용함.
- 연구팀은 FMTI 등급의 초안을 작성한 후, 회사에 반박의 기회를 제공했으며, 회사의 반박을 검토하고 적절한 경우 수정했음.
- Meta가 54점으로 가장 높은 점수를 기록했으나, 이는 인상적이지 않음. 기업들은 Meta의 수준을 달성하려는 것이 아니라 80, 90 또는 심지어 100을 목표로 해야 함.

FMTI의 잠재적인 영향

- 연구팀이 평가한 10개 기업 중 9개는 AI가 가지는 위험을 관리하겠다는 의사를 바이든-해리스 행정부에 자발적으로 약속했음.
- FMTI가 이러한 기업들이 투명성을 높이도록 동기부여하고, 세계 정부의 정책 제정에 도움을 줄 것으로 희망함.
- 논문의 저자는 Rishi Bommasani, Kevin Klyman, Shayne Longpre, Sayash Kapoor, Nestor Maslej, Betty Xiong, Daniel Zhang, 그리고 Percy Liang로 구성되어 있으며, Stanford HAI는 AI 연구, 교육, 정책 및 실무를 향상시키는 것을 목표로 함.

FMTI 업데이트

- Foundation Model 시장이 성숙해지고 견고해짐에 따라 기업들이 더 많은 투명성을 확보하기 위한 진전을 이루게 되면 FMTI를 최신 상태로 유지하는 것이 중요할 것임.
- 연구팀은 이를 간단하게 만들기 위해 기업들에게 FMTI의 각 지수에 대한 정보를 한 곳에 공개할 것을 요청하고, 이를 확인할 필요가 있음.

FMTI의 잠재적 영향

- 연구팀은 FMTI를 통해 기업들이 AI가 가지는 위험을 관리하기 위한 의도를 바이든-해리스 행정부에 자발적으로 약속하도록 동기부여할 것으로 희망함.
- 또한 FMTI가 세계 정부의 정책 제정에 도움이 될 것으로 기대하며, 특히 유럽 연합은 AI Act를 통과하려고 노력 중이며, 이 연합의 입장은 FMTI가 기업이 부족한 부분을 강조하여 다음 초안에 중점을 둘 것임.