AI 부트캠프 - 31일차

Cookie Baking·2024년 11월 14일
LLMai 챗봇rag

AI 부트 캠프 TIL

목록 보기
24/42

평가 기준

1. 사용 환경

  • OpenAI
import os
from dotenv import load_dotenv

load_dotenv()
api_key = os.getenv("OPEN_API_KEY")

2. 모델 로드

  • gpt-4o-mini
from langchain_openai import ChatOpenAI

# 모델 초기화
model = ChatOpenAI(model="gpt-4o-mini", api_key=api_key)

RAG

3. 문서 로드

!pip install pypdf
from langchain.document_loaders import PyPDFLoader

# PDF 파일 로드. 파일의 경로 입력
loader = PyPDFLoader("인공지능산업최신동향_2024년11월호.pdf")

# 페이지 별 문서 로드
docs = loader.load()

4. 문서 청킹

  • 가장 먼저 청킹은 텍스트를 작은 덩어리, 즉 "청크"로 나누는 과정을 말함, LLM을 학습할 때 긴 텍스트 전체를 한 번에 처리하기보다는 일정한 길이의 청크로 나누어 모델이 학습하도록 하는데, 이 작업은 모델의 입력 크기 제한을 맞추고 효율적으로 학습을 진행하기 위해 필요함

1. CharacterTextSplitter

  • separator : 텍스트를 나눌 때 사용할 구분자를 지정
  • chunk_size : 각 청크의 길이를 지정 (한국어, 영어 모두 100글자에 해당)
  • chunk_overlap : 청크 간 겹칠 부분의 크기를 지정 (한 청크의 마지막 10문자와 다음 청크의 처음 10 문자가 겹침), 이 겹침은 문맥 유지에 도움이 되며, 모델의 청크 간의 문맥을 잃지 않도록 도와줌
  • length_function: 각 청크의 길이를 측정할 때 사용할 함수 지정 (len : 청크의 길이를 문자 수로 계산하고 있음)
  • is_separator_regex : sperator가 정규 표현식인지 여부를 설정, False로 설정한다면, separator는 정규 표현식이 아닌 일반 문자열로 처리됨
from langchain.text_splitter import CharacterTextSplitter

text_splitter = CharacterTextSplitter(
    separator="\n\n",
    chunk_size=100,
    chunk_overlap=10,
    length_function=len,
    is_separator_regex=False,
)

splits = text_splitter.split_documents(docs)
[Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 0}, page_content='2024년 11월호'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 1}, page_content='2024년 11월호\nⅠ. 인공지능 산업 동향 브리프 1. 정책/법제    ▹ 미국 민권위원회, 연방정부의 얼굴인식 기술 사용에 따른 민권 영향 분석························1   ▹ 미국 백악관 예산관리국, 정부의 책임 있는 AI 조달을 위한 지침 발표·····························2   ▹ 유로폴, 법 집행에서 AI의 이점과 과제를 다룬 보고서 발간··············································3   ▹ OECD, 공공 부문의 AI 도입을 위한 G7 툴킷 발표··························································4   ▹ 세계경제포럼, 생성AI 시대의 거버넌스 프레임워크 제시····················································5  2. 기업/산업    ▹ CB인사이츠 분석 결과, 2024년 3분기 벤처 투자 31%가 AI 스타트업에 집중··············6   ▹ 메타, 동영상 생성AI 도구 ‘메타 무비 젠’ 공개···································································7   ▹ 메타, 이미지와 텍스트 처리하는 첫 멀티모달 AI 모델 ‘라마 3.2’ 공개···························8   ▹ 앨런AI연구소, 벤치마크 평가에서 GPT-4o 능가하는 성능의 오픈소스 LLM ‘몰모’ 공개····9   ▹ 미스트랄AI, 온디바이스용 AI 모델 ‘레 미니스트로’ 공개·················································10   ▹ 카카오, 통합 AI 브랜드 겸 신규 AI 서비스 ‘카나나’ 공개···············································11 3. 기술/연구   ▹ 2024년 노벨 물리학상과 화학상, AI 관련 연구자들이 수상············································12   ▹ 미국 국무부, AI 연구에서 국제협력을 위한 ‘글로벌 AI 연구 의제’ 발표························13   ▹ 일본 AI안전연구소, AI 안전성에 대한 평가 관점 가이드 발간········································14   ▹ 구글 딥마인드, 반도체 칩 레이아웃 설계하는 AI 모델 ‘알파칩’ 발표·····························15   ▹ AI21 CEO, AI 에이전트에 트랜스포머 아키텍처의 대안 필요성 강조····························16    4. 인력/교육        ▹ MIT 산업성과센터, 근로자 관점에서 자동화 기술의 영향 조사········································17   ▹ 다이스 조사, AI 전문가의 73%는 2025년 중 이직 고려················································18   ▹ 가트너 예측, AI로 인해 엔지니어링 인력의 80%가 역량 향상 필요 ·····························19   ▹ 인디드 조사 결과, 생성AI가 인간 근로자 대체할 가능성은 희박·····································20    \nⅡ. 주요 행사  ▹NeurIPS 2024 ······················································································································21  ▹GenAI Summit Maroc 2024 ·····························································································21  ▹AI Summit Seoul 2024 ·····································································································21'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 2}, page_content='Ⅰ. 인공지능 산업 동향 브리프'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 3}, page_content='1. 정책/법제  2. 기업/산업 3. 기술/연구  4. 인력/교육\n1\n미국 민권위원회, 연방정부의 얼굴인식 기술 사용에 따른 민권 영향 분석n미국 민권위원회에 따르면 연방정부와 법 집행기관에서 얼굴인식 기술이 빠르게 도입되고 있으나 이를 관리할 지침과 감독의 부재로 민권 문제를 초래할 위험 존재n미국 민권위원회는 연방정부의 책임 있는 얼굴인식 기술 사용을 위해 운영 프로토콜 개발과 실제 사용 상황의 얼굴인식 기술 평가 및 불평등 완화, 지역사회의 의견 수렴 등을 권고\nKEY Contents\n£연방정부의 얼굴인식 기술 도입에 대한 지침과 감독 부재로 민권 문제를 초래할 위험 존재n미국 민권위원회(U.S. Commission on Civil Rights)가 2024년 9월 19일 연방정부의 얼굴인식 기술 사용이 민권에 미치는 영향을 분석한 보고서를 발간∙AI 기술의 일종인 얼굴인식 기술은 연방정부와 법 집행기관에서 빠르게 도입되고 있으며, 일례로 법무부 연방수사국(FBI)은 범죄 수사 및 용의자 수색용 단서 확보를 위해 얼굴인식 기술을 가장 빈번히 사용∙그러나 얼굴인식 기술의 책임 있는 사용을 위한 연방 지침과 감독은 실제 활용 사례보다 뒤처졌으며, 현재 연방정부의 얼굴인식 기술이나 여타 AI 기술 사용을 명시적으로 규제하는 법률도 부재  n보고서에 따르면 얼굴인식 기술의 무분별한 사용은 편향, 개인정보 침해, 적법 절차의 미준수 및 차별적 영향과 같은 민권 문제를 초래할 위험 보유∙얼굴인식 기술의 정확도는 인종, 성별, 연령 등 인구통계학적 요인에 따라 달라질 수 있으며, 이는 식별 오류 및 부정확한 체포로 이어져 유색인종을 비롯한 특정 집단에 차별적 결과를 초래할 위험 존재∙정부 기관이 사전 영장이나 정당한 이유 없이 얼굴인식 기술을 광범위하게 사용할 경우 개인을 지속적으로 추적하고 감시함으로써 개인정보 보호 권리에 심각한 영향을 미칠 위험 존재∙법 집행기관의 얼굴인식 기술 사용 시 부정확한 식별 및 편향으로 인해 개인이 법의 보호를 받아 공정하고 올바르게 대우받을 권리를 침해할 가능성도 존재£민권위원회, 연방정부의 책임 있는 얼굴인식 기술 사용을 위한 권고사항 제시n민권위원회는 연방정부의 얼굴인식 기술 사용과 관련해 다음과 같은 권고사항을 제시∙국립표준기술연구소(NIST)는 정부 기관의 얼굴인식 기술 시스템 도입 시의 효과와 공평성, 정확성 평가에 사용할 수 있는 운영 테스트 프로토콜의 개발 필요∙각 연방정부 기관의 최고AI책임자는 실제 사용 상황에서 얼굴인식 기술을 평가하고 차별이나 편견으로 인한 불평등을 완화하며, 얼굴인식 기술의 사용으로 영향을 받는 지역사회의 의견을 수렴 필요∙얼굴인식 기술 제공업체는 다양한 인구통계 집단에 대한 높은 정확도를 보장하기 위해 지속적인 교육과 지원, 업데이트를 제공 필요 ☞ 출처: U.S. Commission on Civil Rights, The Civil Rights Implications of the Federal Use of Facial Recognition Technology, 2024.09.19.'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 4}, page_content='SPRi AI Brief |  2024-11월호\n2\n미국 백악관 예산관리국, 정부의 책임 있는 AI 조달을 위한 지침 발표n미국 백악관 예산관리국이 바이든 대통령의 AI 행정명령에 따라 연방정부의 책임 있는 AI 조달을 지원하기 위한 지침을 발표 n지침은 정부 기관의 AI 조달 시 AI의 위험과 성과를 관리할 수 있는 모범 관행의 수립 및 최상의 AI 솔루션을 사용하기 위한 공급업체 시장의 경쟁 보장, 정부 기관 간 협업을 요구  \nKEY Contents\n£백악관 예산관리국, 연방정부의 AI 조달 시 책임성을 증진하기 위한 모범 관행 제시n미국 백악관 예산관리국(OMB)이 바이든 대통령의 AI 행정명령에 따른 후속 조치로 2024년 10월 3일 ‘정부의 책임 있는 AI 조달 지침(M-24-18)’을 발표∙미국 연방정부는 2023년 1,000억 달러 이상의 IT 제품과 서비스를 구매한 미국 경제 최대 규모의 단일 구매자로서 구매력을 활용해 책임 있는 AI의 발전을 뒷받침할 계획∙이번 지침은 △AI 위험과 성과 관리 △AI 시장의 경쟁 촉진 △연방정부 전반의 협업 보장이라는 3개 전략적 목표에 대하여 권고사항을 제시n(AI 위험과 성과 관리) 예산관리국의 지침은 AI 시스템의 구축, 훈련, 배포 방식의 복잡성을 고려해 AI의 위험과 성과를 관리하기 위한 모범 관행을 다음과 같이 제시∙정부 기관의 개인정보 보호 담당자가 AI 조달 프로세스에 조기에 지속적으로 참여해 개인정보 보호 위험을 식별 및 관리하고 법률과 정책 준수를 보장∙정부 기관과 공급업체와 간 협력으로 AI 솔루션이 조달되는 시기와 해당 조달로 인해 시민 권리와 안전에 영향을 미치는 AI에 대하여 추가로 위험관리가 필요한 시점을 파악∙성과 기반의 혁신적 조달 기법을 활용해 정부 기관이 위험을 효과적으로 관리 및 완화하고 성과를 향상할 수 있도록 장려하는 한편, 정부 데이터와 지식재산권을 보호하는 방식으로 계약 조건을 협상 n(AI 시장의 경쟁 촉진) 지침은 정부 기관이 최상의 AI 솔루션을 사용할 수 있도록 공급업체 시장에서 강력한 경쟁을 보장할 것을 요구  ∙계약 요건 수립 시 공급업체 의존성을 최소화할 수 있는 인수 원칙을 적용하고, 시장 조사와 요구사항 개발, 공급업체 평가 절차에서 상호운용성과 투명성을 고려하며, 혁신적 조달 관행을 활용해 우수한 계약업체 성과와 정부 기관의 임무 성과를 보장n(연방정부 전반의 협업 보장) 빠르게 발전하는 AI 기술환경의 위험관리를 위해 AI 전문지식을 갖춘 공무원과 조달, 개인정보보호, 사이버보안 전문가를 포함하는 협업 팀을 구성해 전략적 조달을 지원  ∙각 정부 기관은 기관 간 협의회를 구성해 효과적이고 책임 있는 AI 조달을 지원하고, 협업 시 기관 목표에 가장 적합한 AI 투자 식별 및 우선순위 지정, AI 배포 역량 개발, AI 모범 활용 사례 채택 증진 등을 고려☞ 출처: The White House, FACT SHEET: OMB Issues Guidance to Advance the Responsible Acquisition of AI in Government, 2024.10.03.'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 5}, page_content='1. 정책/법제  2. 기업/산업 3. 기술/연구  4. 인력/교육\n3\n유로폴, 법 집행에서 AI의 이점과 과제를 다룬 보고서 발간n유로폴의 보고서에 따르면 AI는 고급 데이터 분석, 디지털 증거 수집, 이미지와 비디오 분석 등에 활용되어 법 집행 업무를 대폭 개선할 수 있는 잠재력 보유n그러나 AI 도입을 위해서는 기술적 과제 해결 및 다양한 윤리적·사회적 이슈 대응이 필요하며, EU AI 법에 부합하도록 기존 AI 시스템에 대한 평가와 수정도 필요\nKEY Contents\n£유로폴, 법 집행에서 AI 기술의 윤리적이고 투명한 구현을 위한 고려사항 제시nEU 사법기관 유로폴(Europol)이 2024년 9월 24일 법 집행에서 효과적 범죄 퇴치를 위한 AI의 활용 가능성을 탐색한 보고서를 발간∙보고서는 법 집행에서 AI 기술을 윤리적이고 투명하게 구현하기 위한 지침 역할을 하며, AI의 이점과 과제를 함께 다룸으로써 법 집행에서 AI 사용 시 윤리적 고려 사항에 대한 인식 제고를 추구n보고서에 따르면 AI는 고급 데이터 분석, 디지털 증거 수집, 이미지와 비디오 분석, 생체인식 시스템 등에 활용되어 법 집행 업무를 대폭 개선할 수 있는 잠재력 보유∙법 집행기관은 AI 기반 데이터 분석을 활용해 범죄 활동에 대한 탐지와 대응 능력을 강화하고, AI 도구로 구조화되지 않은 데이터를 신속히 분석해 비상 상황의 의사결정을 위한 통찰력 확보 가능 ∙기계번역과 같은 AI 기반 도구는 여러 국가가 참여하는 조사에서 원활한 국제협력을 위해서도 필수적n그러나 법 집행에서 AI 도구의 효과적이고 책임 있는 활용을 위해 해결되어야 할 기술적 과제 및 다양한 윤리적·사회적 우려도 존재∙일례로 관할권 간 데이터 수집과 보관 관행의 차이에 따른 데이터셋의 편향으로 인해 AI 산출물의 무결성(無缺性)이 손상될 수 있어 표준화된 데이터 수집 규약 필요∙데이터 규모나 활용 사례의 복잡성과 관계없이 AI 도구를 효과적으로 사용하려면 다양한 데이터 규모와 운영 요구사항에 적응할 수 있는 확장성과 성능을 갖춘 AI 모델도 개발 필요∙편향, 개인정보 침해와 인권 침해와 같은 다양한 윤리적·사회적 우려도 존재하며, 이를 해소하기 위해 데이터 편향을 제거하고 공공 안전과 개인정보 간 균형을 유지하며 AI 의사 결정 과정에 대한 투명성과 책임성을 보장 필요n보고서는 2024년 8월 발효된 EU AI 법이 법 집행기관에 미칠 영향도 분석∙EU AI 법은 공공장소에서 실시간 생체인식 식별과 같은 특정 애플리케이션의 사용을 금지하고 고위험 AI 시스템에 엄격한 감독을 부과하였으나 법 집행 활동의 특수성을 고려해 일부 예외를 설정 ∙그러나 일부 예외에도 법 집행 역량 강화를 위한 AI 사용을 위해서는 기존에 도입한 AI 시스템에 대한 재평가와 수정이 필요한 만큼, 재정과 인력 측면의 상당한 부담 예상☞ 출처: Europol, AI and policing-The benefits and challenges of artificial intelligence for law enforcement, 2024.09.24.'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 6}, page_content='SPRi AI Brief |  2024-11월호\n4\nOECD, 공공 부문의 AI 도입을 위한 G7 툴킷 발표nOECD는 공공 부문에서 EU 및 G7 국가들의 AI 도입 모범사례와 거버넌스 프레임워크, 정책 옵션을 토대로 공공 부문의 AI 도입을 안내하는 보고서를 발표n보고서는 공공 부문의 AI 도입 시 프로토타입부터 시작해 시범 도입을 거쳐 본격적으로 구현하는 단계별 접근방식을 권고\nKEY Contents\n£OECD, G7의 사례를 토대로 공공 부문의 AI 도입을 안내하는 지침 마련nOECD가 2024년 10월 15일 안전하고 신뢰할 수 있는 AI의 원칙을 실행 가능한 정책으로 전환할 수 있도록 지원하는 ‘공공 부문의 AI를 위한 G7 툴킷’ 보고서를 발간∙OECD는 G7 회원국이 작성한 설문 응답 및 OECD와 UNESCO의 연구를 토대로 공공 부문에서 AI 활용 모범사례와 거버넌스 프레임워크, 정책 옵션과 관련된 종합적 지침 제공을 목표로 보고서를 작성nG7과 EU의 AI 도입 추세를 분석한 결과, G7 회원국과 EU는 공공 부문의 AI 도입과 관련된 국가 전략 및 정책의 개발과 구현에서 차이가 존재  ∙EU·독일·미국·영국·일본은 국가 AI 전략에 공공 부문을 포함했고 프랑스는 국가 AI 전략에서는 공공 부문을 구체적으로 다루지 않으나 공공행정 혁신기금(FTAP)을 조성하여 60개 이상의 AI 프로젝트에 투자하는 등 별도의 정책을 수립∙캐나다는 2025년 봄까지 공공 서비스를 위한 AI 전략을 개발할 계획이며, 이탈리아는 ‘공공 부문 디지털화를 위한 3개년 계획(2024~2026)’에 AI를 포함 ∙G7 회원국들은 접근방식의 차이에도 인재와 기술 개발, 조달 정책, 협력관계 구축, 윤리적이고 신뢰할 수 있으며 인간 중심적인 AI 관행 조성, 데이터 품질 보장 등에서 공통점을 보유nAI 거버넌스 프레임워크 측면에서 G7 회원국 중 미국·캐나다·프랑스와 EU는 여러 기관이 AI를 관리하는 분산형 거버넌스 구조를 채택했으며 이탈리아·독일·영국은 단일 기관이 AI를 관리하는 중앙집중형 거버넌스를 채택nG7 회원국들은 공공 부문의 운영 효율성 향상, 정책 결정 강화, 공공 서비스 개선, 정부의 투명성과 책임성 강화를 위해 AI를 활용하는 한편, 다양한 정책 옵션으로 AI 도입 시의 과제 해결을 모색∙AI 도입에 필수적인 인프라를 강화하기 위한 데이터 저장과 공유 솔루션 채택, AI에 적합한 혁신적이고 유연한 조달 절차의 수립 및 민간 파트너십 육성, 공공 부문의 AI 역량 강화, 데이터 거버넌스 프레임워크 구축 등이 대표적인 정책 옵션n보고서는 공공 부문의 AI 도입 시 각 단계를 신중히 관리하여 위험을 완화할 수 있도록, 문제를 명확히 정의하고 아이디어를 구상한 뒤 프로토타입부터 시작해 통제된 환경에서 AI를 시범 도입한 후 이를 개선해 본격적으로 구현하는 단계적 접근방식을 강조☞ 출처: OECD, G7 Toolkit for Artificial Intelligence in the Public Sector, 2024.10.15.'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 7}, page_content='1. 정책/법제  2. 기업/산업 3. 기술/연구  4. 인력/교육\n5\n세계경제포럼, 생성AI 시대의 거버넌스 프레임워크 제시n세계경제포럼이 글로벌 정책입안자를 대상으로 생성AI의 공익적 활용과 경제·사회적 균형 달성, 위험 완화를 위한 거버넌스 프레임워크를 제안하는 백서를 발표n백서에 따르면 정부는 기존 규제를 평가해 생성AI로 인한 규제 격차를 해소하는 한편, 다양한 이해관계자 간 지식 공유를 촉진하고 미래의 AI 발전에 대비한 규제 민첩성을 갖출 필요\nKEY Contents\n£생성AI 거버넌스, 과거-현재-미래를 아우르는 프레임워크 수립 필요n세계경제포럼(WEF)이 2024년 10월 8일 세계 각국의 정책입안자를 대상으로 생성AI 거버넌스 프레임워크를 제시한 백서를 발간∙백서는 생성AI의 공익적 활용과 경제·사회적 균형 달성, 위험 완화라는 목표 달성을 위해 △과거 활용(Harness Past) △현재 구축(Build Present) △미래 계획(Plan Future)의 프레임워크를 제안n(과거 활용) 기존 규제를 활용하고 생성AI로 인한 규제 격차를 해소하는 것으로, 정부는 새로운 AI 규제나 관할 당국을 수립하기에 앞서 다음 사항을 추진할 필요∙생성AI로 인한 문제나 격차 발생에 관하여 기존 규제를 평가하고 다양한 규제 수단의 정책 목표를 고려해 규제를 조정하며, 규제 선례를 참고해 책임 할당을 명확히 하고 격차가 발견된 부분을 보완∙기존 규제 당국이 생성AI 문제를 해결할 역량이 있는지 평가하고, AI 전담 기관을 설치하여 규제 권한을 집중하는 방안의 장단점을 고려n(현재 구축) 사회 전반의 생성AI 거버넌스와 지식 공유의 증진을 의미하며, 생성AI의 거버넌스에는 정책입안자와 규제 당국 외에 산업계, 시민사회, 학계를 포함한 이해관계자 참여가 필수적∙정부는 다양한 거버넌스 수단을 활용해 사회 전반의 생성AI 거버넌스에 참여하는 각 이해관계자 집단의 고유한 문제에 대응 필요∙다양한 이해관계자 간 지식 공유를 촉진하고, 책임 있는 AI 관행으로 사회에 모범을 보일 필요성 존재n(미래 계획) 생성AI 거버넌스에 대한 민첩한 준비와 함께 국제협력을 촉진하는 것으로, 정부는 빠른 기술 발전과 한정된 자원, 글로벌 불확실성을 고려해 미래를 예견한 국가 전략을 개발하고 다음의 활동을 추진∙정부 내 AI 역량 향상과 AI 전문가 채용을 위한 투자를 시행하고 AI 전담 기관의 설립 필요성을 신중히 검토∙생성AI와 인간 간 상호작용, 생성AI와 여타 기술의 융합, 생성AI 신기능과 관련된 혁신 및 이로 인한 새로운 위험을 탐색 ∙기존 규제의 영향 평가 및 미래 AI 발전에 대비한 영향 평가로 규제 민첩성을 유지하며, 일례로 광범위한 도입에 앞서 규제 유예제도(샌드박스)를 시범 운영∙지식과 인프라 공유와 AI 안전성 연구, AI 표준의 일관성 확보를 위한 국제협력 추진☞ 출처: World Economic Forum, Governance in the Age of Generative AI: A 360° Approach for Resilient Policy and Regulation, 2024.10.08.'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 8}, page_content='SPRi AI Brief |  2024-11월호\n6\nCB인사이츠 분석 결과, 2024년 3분기 벤처 투자 31%가 AI 스타트업에 집중nCB인사이츠에 따르면 2024년 3분기 AI 스타트업은 전체 벤처 투자의 31%를 유치했으며, AI 스타트업의 투자금 회수 시점은 일반 기업보다 6년 빠른 것으로 확인n그러나 CB인사이츠는 투자자들의 낙관적 기대에도 불구하고 오픈AI와 같은 거대 기업도 비용 통제에 어려움을 겪고 있다며 상당수 AI 스타트업이 실패할 것으로 예상\nKEY Contents\n£AI 스타트업, 벤처 투자의 최우선 고려 대상으로 부상n글로벌 리서치 기업 CB인사이츠(CB Insights)가 2024년 10월 3일 발표한 2024년 3분기 벤처 현황 보고서에 따르면 2024년 3분기 벤처 자금의 31%가 AI 스타트업에 투자된 것으로 분석  ∙AI 스타트업은 2024년 2분기에 전체 벤처 투자의 35%를 유치하며 역대 최고 비중을 차지했으며, 3분기에도 역대 두 번째로 높은 비중을 기록∙오픈AI의 공동설립자 일리야 수츠케버(Ilya Sutskever)가 2024년 6월 설립한 스타트업 SSI(Safe Superintelligence Inc.)는 10억 달러를 유치하며 3분기 대표적인 AI 투자로 기록∙CB인사이츠가 전 세계 1만 5천 개 이상의 AI 스타트업을 추적한 결과, 전 세계 AI 스타트업의 43%가 미국 기업이며, 다음 순위는 중국이 9%, 영국이 7%, 인도와 캐나다가 각각 4%로 미국과 상당한 격차를 기록n기업가치 10억 달러 이상의 유니콘 기업은 2024년 3분기에 24개가 탄생했으며, 이중 절반 이상이 AI 기업인 것으로 확인∙범용 로봇 개발기업 스킬드AI(Skild AI), 공간지능에 특화된 월드랩스(World Labs), 법률 AI 서비스 기업 하비(Harvey) 등이 유니콘 지위를 획득nAI 스타트업은 투자금 회수(Exit) 시점도 일반 스타트업보다 훨씬 빨라 AI 기업이 엑시트하는 시점은 설립 후 7년에 불과했으나 여타 스타트업은 13년 소요되었으며, 이러한 경향은 M&A에서 가장 뚜렷해 2024년 AI 스타트업 엑시트는 대부분 M&A를 통해 달성∙대기업들은 자사 제품군에 AI 도구를 신속히 도입하고자 AI 스타트업 인수에 적극적인 행보를 보이고 있으며, 일례로 엔비디아(Nvidia)는 2024년에 AI 스타트업 3곳을 인수했고, 세일즈포스(Salesforce)는 2024년 9월 AI 스타트업 2곳을 인수n그러나 CB인사이츠는 투자자들의 낙관적 기대에도 불구하고 현재의 AI스타트업 중 상당수는 기대에 부응하지 못하고 실패하게 될 것으로 예상∙CB인사이츠는 오픈AI와 같은 거대 AI 기업조차도 수익을 내지 못해 비용을 통제해야 하는 어려움을 겪고 있다며, 오픈AI의 2024년 손실 규모가 50억 달러에 달할 것으로 전망☞ 출처 : CB Insights, State of Venture Q3’24 Report, 2024.10.03.'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 9}, page_content='1. 정책/법제  2. 기업/산업 3. 기술/연구  4. 인력/교육\n7\n메타, 동영상 생성AI 도구 ‘메타 무비 젠’ 공개n메타가 동영상 생성, 개인화 동영상 제작, 동영상 편집, 오디오 생성과 같은 기능을 지원하는 ‘메타 무비 젠’을 공개하고 2025년 중 인스타그램 등 자사 플랫폼에 통합할 계획n메타 무비 젠은 인간 선호도 평가에서 런웨이의 젠 3, 오픈AI의 소라, 클링 1.5와 같은 경쟁 동영상 AI 모델보다 더 높은 점수를 기록\nKEY Contents\n£메타, 동영상 제작과 편집, 오디오 생성을 지원하는 메타 무비 젠을 공개 n메타(Meta)가 2024년 10월 4일 텍스트 입력을 통해 고해상도 동영상을 생성하는 AI 도구 ‘메타 무비 젠(Meta Movie Gen)’을 공개∙메타는 크리에이터와 영화 제작자 등 소수의 외부 파트너에게 메타 무비 젠을 우선 제공 후 피드백을 반영해 기능을 개선할 계획으로, 단독 서비스로 출시하는 대신 2025년 중 인스타그램(Instagram)과 같은 자사 소셜미디어 플랫폼에 통합하여 제공할 방침n메타 무비 젠은 △동영상 생성 △개인화 동영상 생성 △동영상 편집 △오디오 생성의 4가지 기능을 지원∙(동영상 생성) 300억 개 매개변수의 AI 모델을 통해 초당 16프레임의 속도로 1,080p 해상도의 최대 16초 길이 동영상 생성을 지원∙(개인화 동영상 생성) 사용자가 자신이나 타인의 이미지와 텍스트를 입력해 원래 인물의 고유한 특징을 반영한 개인화 동영상을 제작 가능∙(동영상 편집) 특정 요소의 추가나 제거, 변경과 같은 부분적 수정 및 동영상 배경 또는 스타일 변경과 같은 광범위한 수정도 지원∙(오디오 생성) 130억 개 매개변수의 오디오 생성 모델을 통합해 동영상과 텍스트 프롬프트 기반으로 최대 45초 길이의 배경음, 음향 효과 등 고품질 오디오를 생성£메타 무비 젠, 인간 선호도 평가에서 오픈AI의 소라 능가n메타 무비 젠은 인간 선호도 평가에서 런웨이(Runway)의 젠(Gen) 3, 오픈AI의 소라(Sora)를 비롯한 경쟁 동영상 생성AI 모델보다 더 높은 점수를 기록∙메타 무비 젠과 경쟁 모델에 대하여 세 명의 인간 평가자가 점수를 매겨 비교 후 순승률(Net Win Rate)*을 계산한 결과, 메타 무비 젠은 젠 3와 소라, 클링(Kling) 1.5를 모두 능가* 두 모델(A와 B)에 대하여 3명의 인간 평가자가 A 선호 시 +1점, 동점이면 0점, B 선호 시 –1점을 매기는 식으로 계산해 승률(-100%~100% 값)을 구하며, 승률이 양수면 A 모델 선호, 음수면 B 모델 선호를 의미     \n<메타 무비 젠과 경쟁 AI 모델의 인간 선호도 평가 승률>\n☞ 출처: Meta, How Meta Movie Gen could usher in a new AI-enabled era for content creators, 2024.10.04.'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 10}, page_content='SPRi AI Brief |  2024-11월호\n8\n메타, 이미지와 텍스트 처리하는 첫 멀티모달 AI 모델 ‘라마 3.2’ 공개n메타가 이미지와 텍스트를 모두 처리할 수 있는 모델과 모바일 기기에서 실행 가능한 경량 모델을 포함하는 라마 3.2 시리즈를 공개n비전 기능을 갖춘 라마 3.2 90B 모델은 다양한 이미지 인식과 시각적 이해 작업에서 앤스로픽의 ‘클로드3-하이쿠’ 및 오픈AI의 ‘GPT-4o-미니’와 대등한 수준의 성능 보유\nKEY Contents\n£라마 3.2 90B 모델, 이미지 인식과 시각적 이해에서 GPT-4o-미니와 대등한 성능n메타가 2024년 9월 25일 ‘라마(Llama)’ 시리즈 최초로 이미지와 텍스트를 모두 처리하는 ‘라 마 3.2’를 공개∙라마 3.2 시리즈는 이미지를 처리하는 비전(Vision) 기능을 갖춘 매개변수 110억 개(11B)와 900억 개(90B)의 모델 및 모바일 기기에 적합한 매개변수 10억 개(1B)와 30억 개(3B)의 경량 모델로 구성∙2024년 7월 공개된 라마 3.1과 비교해 라마 3.2는 전반적 성능 향상 외 비전 기능이 추가되어 이미지 추론을 지원하며 모바일 기기에서 실행 가능한 경량 모델이 추가되어 접근성을 향상n라마 3.2 시리즈 중 11B와 90B 모델은 차트와 그래프를 포함한 문서 이해, 이미지 캡션, 이미지 안의 물체 식별과 같은 이미지 추론을 지원∙라마 3.2는 이미지에서 세부 정보를 추출하고 장면을 이해하여 이미지 캡션으로 사용할 수 있도록 내용을 전달하는 문장을 생성 가능∙이미지 인식과 시각적 이해 관련 90B 모델의 벤치마크 평가 결과는 앤스로픽(Anthropic)의 ‘클로드 3-하이쿠’나 오픈AI의 ‘GPT-4o-미니’와 대등한 수준으로, 일례로 시각적 수학 추론(MathVista)에서 57.3점으로 클로드 3-하이쿠(46.4점)와 GPT-4o-미니(56.7점)를 능가 n라마 3.2 시리즈 중 1B와 3B 경량 모델은 12만 8천 개 토큰의 컨텍스트 창을 지원하고 다국어 텍스트 생성과 도구 호출 기능을 제공하며, 데이터를 기기 내에 보관하는 온디바이스 앱 개발에 특화∙모델 평가 결과, 3B 모델은 지시 이행, 요약, 신속한 재작성 및 도구 사용과 같은 작업에서 구글(Google)의 ‘젬마 2 2.6B’ 및 마이크로소프트(Microsoft)의 ‘파이 3.5-미니’보다 성능이 우수∙일례로 텍스트 재작성(Open-rewrite eval) 평가에서 3B 모델은 40.1점으로 젬마 2 2.6B(31.2점) 및 파이-3.5-미니(34.5점)를 앞섰으며, 텍스트 요약 능력(TLDR9+)에서는 19.0점으로 젬마 2 2.6B(13.9점) 및 파이-3.5-미니(12.8점)를 능가n메타는 라마 3.2 출시와 함께 개발자들이 라마 모델을 더욱 쉽고 효율적으로 사용할 수 있도록 지원하는 표준화 인터페이스인 ‘라마 스택(Llama Stack)’도 공개∙개발자들은 라마 스택을 통해 온프레미스*, 클라우드, 온디바이스 등 다양한 환경에서 일관적이고 간소화된 방식으로 라마 모델을 구축 가능* 기업이 자체 시설에서 보유하고 직접 유지 관리하는 데이터센터☞ 출처: Meta, Llama 3.2: Revolutionizing edge AI and vision with open, customizable models, 2024.09.25.'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 11}, page_content='1. 정책/법제  2. 기업/산업 3. 기술/연구  4. 인력/교육\n9\n 앨런AI연구소, 벤치마크 평가에서 GPT-4o 능가하는 성능의 오픈소스 LLM ‘몰모’ 공개n앨런AI연구소가 공개한 멀티모달 LLM 제품군 몰모는 벤치마크 평가에서 GPT-4o를 능가하는 성능의 72B 모델과 전문가혼합 모델, 온디바이스 모델 등 4개 모델로 구성n몰모-72B 모델은 시각적 이해 능력이 뛰어나며 벤치마크 평가 및 인간 선호도 평가에서 첨단 폐쇄형 모델을 능가하는 점수를 기록\nKEY Contents £몰모-72B 모델, 벤치마크 평가에서 GPT-4o와 제미나이 1.5 Pro 능가n미국 비영리 연구기관 앨런AI연구소(Allen Institute for AI, 이하 AI2)가 2024년 9월 25일 오픈소스 멀티모달 LLM 제품군 ‘몰모(Molmo)’를 공개∙몰모는 가장 규모가 크고 성능이 뛰어난 72B와 데모 모델 7B-D, 개방성이 가장 높은 7B-O, 70억 개의 전체 매개변수 중 10억 개만 활성화하는 전문가혼합(MoE) 모델 E-1B의 4개 모델로 구성되며, 이 중 E-1B 모델은 온디바이스 실행 가능∙몰모는 데이터 규모보다 품질을 중시하는 학습 방식으로 데이터 효율성이 뛰어나 컴퓨팅 자원이 한정된 환경에서도 사용 가능한 것이 장점∙몰모는 일상 사물과 표지판, 복잡한 차트, 시계, 메뉴판 등 다양한 시각 자료를 이해하고 이미지를 구성하는 요소를 정확히 지목할 수 있어, 화면과 현실 세계 간 복잡한 상호작용(예: 비행기 표 예약)이 필요한 웹 에이전트나 로봇 개발에도 유리∙AI2는 몰모의 언어와 시각 훈련 데이터, 미세조정 데이터, 모델 가중치, 소스코드를 모두 공개하고 연구와 상업적 목적의 활용을 허용nAI2에 따르면 몰모-72B 모델은 주요 벤치마크와 인간 선호도 평가*에서 첨단 폐쇄형 모델을 능가* 870명의 인간 평가자에게 다양한 이미지와 텍스트 프롬프트 쌍에 대한 모델 간 응답을 비교해 선호도 평가를 요청해 순위를 산정  ∙몰모-72B는 11개 벤치마크 평균 점수 81.2점으로 ‘GPT-4o’(78.5점), ‘제미나이 1.5 Pro’(78.3점), ‘클로드-3.5 소네트’(76.7점)를 넘는 최고 점수를 기록했으며 인간 선호도 평가에서는 1077점으로 GPT-4o(1079점)에 이어 2위∙전문가혼합 모델인 몰모E-1B는 벤치마크 평균 점수에서 68.6점, 인간 선호도 평가는 1,032점으로 각각 71.1점과 1,041점을 받은 GPT-4V과 경쟁할 수 있는 수준\n<몰모 제품군과 GPT-4o/GPT-4V의 벤치마크 평균(左)과 인간 선호도 평가(右) 점수 비교>\n☞ 출처: Allen Institute for AI, Introducing Molmo, 2024.09.25.'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 12}, page_content='SPRi AI Brief |  2024-11월호\n10\n미스트랄AI, 온디바이스용 AI 모델 ‘레 미니스트로’ 공개n미스트랄AI가 네트워크 연결 없이 온디바이스로 사용할 수 있는 경량 모델 ‘레 미니스트로’를 미스트랄 3B와 미스트랄 8B 버전으로 공개n벤치마크 평가에서 레 미니스트로는 비슷한 매개변수를 가진 오픈소스 모델 젬마 및 라마와 비교해 대부분 벤치마크에서 더 높은 평가를 획득\nKEY Contents\n£미스트랄 AI, 네트워크 연결이 필요 없는 경량 모델 ‘레 미니스트로’ 출시 n프랑스의 대표 AI 스타트업 미스트랄AI(Mistral AI)가 2024년 10월 16일 네트워크 연결 없이 작동하는 온디바이스용 AI 모델 ‘레 미니스트로(Les Ministraux)’를 발표∙ ‘미스트랄 3B’와 ‘미스트랄 8B’ 버전으로 공개된 이 모델은 경량 모델이면서도 영어책 50쪽 분량에 해당하는 12만 8천 개 토큰의 컨텍스트 창을 지원∙미스트랄AI는 레 미니스트로가 번역과 스마트 어시스턴트, 분석, 자율 로봇 같은 중요 애플리케이션에 대하여 네트워크 연결 없이 개인정보보호가 가능한 온디바이스 추론을 원하는 고객 수요에 맞게 지연시간이 짧고 효율적인 솔루션을 제공한다고 강조∙미스트랄AI는 8B 버전만 연구용으로 다운로드를 허용했으며 향후 두 모델을 클라우드 플랫폼을 통해 제공할 계획으로, 사용 비용은 100만 입출력 토큰 당 8B 버전은 10센트, 3B 버전은 4센트로 책정£레 미니스트로, 오픈소스 모델 ‘젬마’ 및 ‘라마’ 대비 대부분 벤치마크에서 우수한 평가n벤치마크 평가 결과, 레 미니스트로는 비슷한 매개변수를 가진 오픈소스 모델 젬마(Gemma)와 라마(Llama)보다 대부분 벤치마크에서 더 높은 평가를 획득∙MMLU* 평가에서 미스트랄 3B는 60.9점을 얻어 구글의 ‘젬마 2 2B’(52.4점)와 메타의 ‘라마 3.2 3B’(56.2점)를 앞섰고, 미스트랄 8B는 65.0점으로 ‘라마 3.1 8B’(64.7점)와 1년 전 출시된 자체 모델 ‘미스트랄 7B’(62.5점)를 능가 * 다양한 주제에 대한 모델의 광범위한 지식과 추론 능력을 평가하는 벤치마크∙미스트랄 8B는 코딩 능력을 평가하는 HumanEval pass@1*에서만 34.8점으로 ‘라마 3.1 8B’(37.8점)보다 소폭 낮은 점수를 기록* AI 모델이 한 번의 시도로 정확한 코드를 생성할 수 있는 능력을 평가하는 벤치마크\n <미스트랄 3B/7B와 경쟁 모델의 벤치마크 평가 비교>\n☞ 출처: Mistral AI, Un Ministral, des Ministraux-Introducing the world’s best edge models, 2024.10.16.'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 13}, page_content='1. 정책/법제  2. 기업/산업 3. 기술/연구  4. 인력/교육\n11\n카카오, 통합 AI 브랜드 겸 신규 AI 서비스 ‘카나나’ 공개n카카오가 대화의 맥락 속에서 주요 정보를 기억해 이용자에게 최적화된 답변을 제공하는 AI 메이트 서비스인 ‘카나나’를 공개 했으며 카카오톡과 별개의 앱으로 출시 예정n카카오는 자체 언어모델로 용량 별로 카나나 플래그, 카나나 에센스, 카나나 나노도 개발 중으로, 에센스와 나노를 중심으로 주요 서비스에 적용할 계획 \nKEY Contents\n£카카오의 신규 AI 서비스 ‘카나나’, 개인메이트 ‘나나’와 그룹메이트 ‘카나’로 구현 n카카오가 2024년 10월 22~24일 열린 개발자 컨퍼런스 ‘if(kakaoAI)2024’에서 그룹 전체의 AI 비전과 방향성을 공개하고 통합 AI 브랜드 ‘카나나(Kanana)’를 발표∙사명인 카카오와 함께, ‘나에게 배워 나처럼 생각하고 행동한다’는 의미의 네이티브(Native), ‘배우지 않아도 자연스럽게 사용 가능한 기술’이라는 의미의 내츄럴(Natural) 등의 단어를 조합한 카나나는 ‘가장 나다운 AI’를 의미∙카카오는 동 브랜드를 자사가 개발하는 주요 AI 모델과 신규 서비스의 이름에 두루 사용할 계획으로, AI 메이트 서비스 ‘카나나’ 출시 계획도 공개n카나나는 대화의 맥락 속에서 주요 정보를 기억해 이용자에게 최적화된 답변을 제시하는 ‘AI 메이트’를 지향하며, 개인메이트 ‘나나(nana)’와 그룹메이트 ‘카나(kana)’로 구현∙개인메이트 나나는 이용자와 일대일 대화 및 이용자가 참여한 그룹 대화도 기억해 최적화된 개인화 경험을 제공하며, 일례로 그룹대화에서 나눈 컨퍼런스 참석 일정과 준비물을 기억해 이를 잊지 않도록 메시지로 전송∙카나는 상주하는 그룹대화 안에서의 대화 내용만 기억해 이용자를 지원하며, 가령 스터디 그룹대화에서 함께 읽은 논문 관련 퀴즈를 내주고 채점과 부연 설명을 제공 ∙카카오는 카나나를 카카오톡과 별개의 앱으로 출시할 예정으로, 연내 사내 테스트 버전 출시를 통해 완성도를 높여갈 계획n카카오는 자체 생성AI 모델도 연구개발 중으로, 언어모델은 용량에 따라 △카나나 플래그 △카나나 에센스 △카나나 나노로 분류되며, 글로벌 수준의 성능을 갖춘 에센스와 나노를 중심으로 카카오의 주요 서비스에 적용할 계획n카카오는 이번 행사에서 내부의 AI 리스크 관리 체계인 ‘Kakao ASI(AI Safety Initiative)’도 강조∙Kakao ASI는 안전하고 윤리적인 AI 기술 개발 및 운영 시스템을 구축하기 위한 종합 지침으로서, 기술의 설계부터 개발, 테스트, 배포, 모니터링, 업데이트 등 AI 시스템의 전 생애주기에서 발생할 수 있는 리스크에 선제적 대응 추구 ☞ 출처: Kakao, 카카오, ‘if(kakaoAI)2024’에서 그룹 AI 비전 공개…AI 메이트 ‘카나나’도 처음 선보여, 2024.10.22.'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 14}, page_content='SPRi AI Brief |  2024-11월호\n12\n2024년 노벨 물리학상과 화학상, AI 관련 연구자들이 수상n2024년 노벨 물리학상은 물리학 원리를 바탕으로 인공 신경망을 이용한 머신러닝의 토대가 되는 방법을 개발한 존 홉필드와 제프리 힌턴이 수상 n2024년 노벨 화학상은 단백질 설계에 기여한 데이비드 베이커 및 단백질 구조를 예측하는 AI 모델을 개발한 딥마인드의 데미스 허사비스와 존 점퍼가 수상 \nKEY Contents\n£노벨 물리학상, 인공 신경망 연구한 존 홉필드 교수와 제프리 힌턴 교수가 수상n스웨덴 왕립과학원 노벨위원회는 2024년 10월 8일 존 홉필드(John Hopfield) 미국 프린스턴⼤ 교수와 제프리 힌턴(Geoffrey Hinton) 캐나다 토론토⼤ 교수에게 인공 신경망을 이용한 머신러닝의 토대가 되는 방법을 개발한 공로로 노벨 물리학상을 수여∙홉필드는 물리학의 원리를 이용해 왜곡되거나 불완전한 입력 패턴과 가장 유사하게 저장된 패턴을 찾아내고 재구성할 수 있는 초기 인공 신경망 모델인 ‘홉필드 네트워크(Hopfield Network)’를 개발∙힌턴은 홉필드 네트워크를 토대로 ‘볼츠만 머신(Boltzmann Machine)’을 고안했으며, 이 모델은 통계물리학을 활용해 주어진 데이터에서 특징적 요소를 인식하여 인간의 개입 없이 학습된 패턴 유형을 활용해 새로운 예제를 생성 가능∙힌턴은 인공 신경망이 데이터를 통해 학습할 수 있다는 개념으로 머신러닝의 폭발적 발전을 이끌었으며, 인공 신경망은 현재 신소재 발견을 비롯한 광범위한 물리학 연구에 활용되는 추세 £노벨 화학상, 단백질 구조 예측 AI 모델 개발한 딥마인드 연구진 등 3인이 수상n데이비드 베이커(David Baker) 미국 워싱턴⼤ 교수와 데미스 허사비스(Demis Hassabis) 구글 딥마인드 CEO, 존 점퍼(John Jumper) 구글 딥마인드 수석 연구원은 새로운 단백질 생성 및 AI를 활용한 단백질 구조 예측에 대한 공로로 2024년 10월 9일 노벨 화학상을 수상∙베이커 교수는 90년대 말 단백질 구조를 예측하는 컴퓨터 소프트웨어 ‘로제타(Rosetta)’를 개발*했으며, 2003년에는 단백질의 기본 요소인 아미노산을 이용해 기존 단백질과 다른 새로운 단백질을 설계* 로제타폴드를 소개한 2021년 Science 논문에는 로제타폴드의 핵심개발자이자 제1저자인 현 백민경 교수∙허사비스와 점퍼는 1970년대부터 난제로 남아있던 단백질 구조 예측에 결정적 기여를 한 AI 모델 ‘알파폴드(AlphaFold) 2’를 2020년 발표하고 오픈소스로 공개∙2억 개에 달하는 단백질 구조를 예측한 알파폴드 2는 과거에는 몇 년이 걸리거나 불가능하던 단백질 구조 예측을 몇 분 만에 완료할 수 있으며, 2024년 10월까지 190개국 200만 명 이상에 의해 사용∙노벨위원회에 따르면 단백질의 구조 예측과 새로운 단백질의 설계는 특정 질병이나 항생제 내성의 발생원인 이해 및 새로운 의약품이나 나노소재 개발 등으로 인류에게 막대한 이익을 가져올 전망☞ 출처: The Nobel Prize, They used physics to find patterns in information, 2024.10.08.The Nobel Prize, They have revealed proteins’ secrets through computing and artificial intelligence, 2024.10.09.'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 15}, page_content='1. 정책/법제  2. 기업/산업 3. 기술/연구  4. 인력/교육\n13\n미국 국무부, AI 연구에서 국제협력을 위한 ‘글로벌 AI 연구 의제’ 발표n미국 국무부는 바이든 대통령의 AI 행정명령에 따라 국제협력을 통해 포괄적이고 조정된 AI R&D 접근방식을 제시한 ‘글로벌 AI 연구 의제(GAIRA)’를 발표n국무부는 GAIRA를 통해 AI R&D 원칙과 안전하고 신뢰할 수 있는 AI 발전을 위한 연구 우선순위, 주요 이해관계자별 권장 사항을 제시\nKEY Contents\n£국무부, AI 연구 우선순위로 포괄적 연구 인프라 조성과 글로벌 도전과제 해결 등 제시n미국 국무부(United States Department of State)가 2024년 9월 23일 국제협력을 통해 안전하고 신뢰할 수 있는 AI 시스템을 개발하기 위한 R&D 원칙과 우선순위, 권장 사항을 제시한 ‘글로벌 AI 연구 의제(Global AI Research Agenda, 이하 GAIRA)’를 발표∙국무부는 2023년 10월 30일 바이든 대통령이 서명한 AI 행정명령에 따라 모든 사람에게 이로운 방식으로 개발·사용되는 AI R&D에 대한 포괄적이고 조정된 접근방식을 마련하고자 GAIRA를 작성하고, AI 연구에서 3가지 권장 원칙으로 △포용성·형평성 △책임 있는 연구 수행 △파트너십과 협업을 제시n국무부는 GAIRA를 통해 안전하고 신뢰할 수 있는 AI를 발전시키기 위한 연구 우선순위를 제시∙(사회 기술 연구) 기술과 사회 간 상호작용에 대한 이해를 심화하고 인간 복지를 향상하는 AI 시스템의 설계와 배포에 관한 연구를 수행 우선∙(포용적 연구 인프라 조성) AI 기술과 시스템의 혁신을 지원하는 데이터와 컴퓨팅 성능, 연구 플랫폼에 대한 접근성을 향상해 AI 연구와 개발 생태계의 다양성을 촉진하고 편향을 완화∙(글로벌 도전과제 해결) 환경 문제, 경제 회복력, 사회복지 등 글로벌 도전 과제 해결에 도움이 되는 AI 애플리케이션을 우선 개발∙(AI 안전과 보안, 신뢰성을 포함한 AI 기초연구) AI는 아직 개발 초기 단계로 안전하고 신뢰할 수 있는 AI 시스템 개발을 위해 더 많은 기술 발전 필요∙(글로벌 노동 시장에서 AI의 영향 연구) AI가 노동 시장에 미치는 여러 측면을 다루는 연구를 수행하고 노동 시장에 미치는 AI의 부정적 영향을 완화하기 위한 전략을 수립n국무부는 GAIRA를 통해 연구 기금 제공자, 연구 생태계 허브, 연구팀과 같은 이해관계자별로 연구 의제의 목표 달성을 위한 권장 사항을 제시∙(연구 기금 제공자) 투명성을 증진하고 국제 AI 연구 협력을 지원하는 기금을 요청하며 다양한 지역에서 연구 인프라 접근성을 증진하고 민관협력을 추진∙(연구 생태계 허브) 연구 재현성을 장려하고, AI 연구 가이드라인 관련 협력과 조정을 강화하며, 민간 분야에서 중시하는 연구 주제 이외의 연구를 지원∙(연구팀) 다학제적 팀을 우선 편성하고 지역 연구자들과 협력하며, 사회기술적 방법론과 연구 설계를 채택하고 위험 평가 절차를 통합☞ 출처: U.S. Department of State, Global AI Research Agenda, 2024.09.23.'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 16}, page_content='SPRi AI Brief |  2024-11월호\n14\n일본 AI안전연구소, AI 안전성에 대한 평가 관점 가이드 발간n일본 AI안전연구소는 AI 개발자나 제공자가 안전성 평가에 참조할 수 있는 ‘AI 안전성에 대한 평가 관점 가이드’를 발표n가이드는 AI 안전성의 핵심 요소를 달성하기 위한 10가지 평가 관점과 함께, 평가를 통해 효과적 조치를 취했을 때의 기대 목표를 제시\nKEY Contents\n£일본 AI안전연구소, AI 개발자나 제공자의 안전성 평가를 위한 가이드라인 제시n일본 AI안전연구소(Japan AI Safety Institute)가 2024년 9월 25일 AI 개발자나 제공자가 안전성 평가 시에 참조할 수 있는 기본 개념을 제시하는 ‘AI 안전성에 대한 평가 관점 가이드’를 발간∙가이드는 AI 안전성의 핵심 요소로 △인간중심 △안전성 △공평성 △프라이버시 보호 △보안 △투명성을 제시하고, 이를 달성하기 위한 10가지 평가 관점 및 평가를 통한 효과적 조치 이후의 기대 목표를 수립평가 관점관련 AI 안전성 요소 기대 목표유해 정보의 출력 통제인간중심, 안전성, 공정성ŸLLM 시스템이 테러, 범죄, 불쾌한 표현 등 유해 정보의 출력을 통제 가능허위 정보와 조작 방지인간중심, 안전성, 투명성ŸLLM 시스템의 출력에 대한 사실 검증 메커니즘 구축ŸLLM 시스템의 출력에 의한 사용자 결정의 조작 방지공정성과 포용성인간중심, 공정성, 투명성ŸLLM 시스템 출력에 유해한 편향이 없으며 개인이나 집단에 대한 불공정한 차별 부재ŸLLM 시스템의 출력을 모든 최종 사용자가 이해 가능고위험 사용 및 비의도적 사용 대처인간중심, 안전성ŸLLM 시스템이 본래 목적과 다르게 부적절하게 사용되어도 피해나 불이익 미발생 개인정보 보호프라이버시 보호ŸLLM 시스템이 정보의 중요성에 따라 프라이버시를 적절히 보호보안 보안 ŸLLM 시스템의 허가되지 않은 운영 및 비의도적 수정 또는 중단으로 인한 기밀정보의 유출 방지설명 가능성투명성ŸLLM 시스템 작동에 대한 증거 제시 등을 목적으로 출력의 근거를 기술적으로 합리적인 범위에서 확인 가능견고성안전성, 투명성ŸLLM 시스템이 적대적 프롬프트, 왜곡된 데이터 및 잘못된 입력 등 예상치 않은 입력에 대해 안정적 출력을 제공데이터 품질안전성, 공정성, 투명성ŸLLM 시스템 학습을 위한 데이터가 적절한 상태로 유지되고 데이터 이력이 적절히 관리되는 상태검증 가능성투명성ŸLLM 시스템에 대한 다양한 유형의 검증이 모델 학습 단계에서 시스템 사용 시점까지 제공되는 상태\n<AI 안전성의 핵심 요소를 고려한 AI 안전성 평가 관점> \nnAI 안전성 평가는 기본적으로 AI 시스템의 개발자 및 제공자에 의해 실시되며, AI 시스템 개발, 배포, 사용 단계에서 적절한 간격으로 시행될 필요∙AI 안전성 평가 범위는 개발 단계에서는 데이터, 배포와 사용 단계에서는 전체 LLM 시스템 등으로 달라질 수 있으며, 평가는 한 차례가 아니라 반복적으로 실시 ☞ 출처: Japan AI Safety Institute, AIセーフティに関する評価観点ガイドの公開, 2024.09.25.'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 17}, page_content='1. 정책/법제  2. 기업/산업 3. 기술/연구  4. 인력/교육\n15\n구글 딥마인드, 반도체 칩 레이아웃 설계하는 AI 모델 ‘알파칩’ 발표n구글 딥마인드가 강화학습 방식으로 반도체 칩 레이아웃을 설계하여 사람이 몇 주에서 몇 달이 걸리는 수준의 칩 레이아웃을 몇 시간 만에 생성하는 AI 모델 ‘알파칩’을 공개n구글은 2020년 처음 알파칩에 관한 연구 논문을 발표한 뒤, 자체 AI 칩 TPU 개발 시 알파칩을 활용해 칩 성능을 개선하고 개발 주기를 단축  \nKEY Contents\n£알파칩, 구글의 자체 AI 칩 TPU의 레이아웃 설계에도 기여n구글 딥마인드가 2024년 9월 26일 반도체 칩의 레이아웃을 설계할 수 있는 AI 모델 ‘알파칩(AlphaChip)’을 공개∙2020년 연구 프로젝트로 시작된 알파칩은 강화학습 방식을 사용하여 반도체 칩 레이아웃을 설계하며, 사람이 완료하는데 몇 주에서 몇 달이 걸리는 수준의 칩 레이아웃을 몇 시간 만에 생성 가능n구글은 2020년 알파칩에 대한 연구 논문을 처음 발표했으며, 자체 AI 칩 TPU(Tensor Processing Unit) 개발 시 알파칩을 활용해 칩 레이아웃을 설계∙TPU는 제미나이(Gemini)뿐 아니라 이마젠(Imagen), 비오(Veo) 등의 이미지 및 동영상 생성 모델과 같은 구글 AI 시스템의 핵심 요소를 형성∙알파칩은 최신 6세대 TPU를 포함한 새로운 세대마다 칩 레이아웃 설계를 개선해 설계주기를 단축하고 더 높은 성능의 칩 생산에 기여n알파칩은 바둑에 특화된 알파고(AlphaGo) 및 바둑, 체스, 쇼기(일본 장기)를 마스터한 알파제로(AlphaZero)와 비슷하게 칩 레이아웃 설계를 게임처럼 접근∙알파칩은 모든 부품을 배치할 때까지 한 번에 하나의 회로 부품을 배치하고 최종 레이아웃의 품질에 따라 보상을 받게 되며, 상호 연결된 부품 간 관계를 학습하고 칩 전체로 확장해 레이아웃을 개선n구글은 자체 AI 칩 TPU뿐 아니라 영국 반도체 기업 ARM과 협력해 개발한 데이터센터용 CPU인 액시온(Axion) 프로세서도 알파칩으로 레이아웃을 생성했으며, 타사에도 알파칩을 제공∙대만의 반도체 기업 미디어텍(MediaTek)은 삼성 스마트폰에 사용되는 ‘다이멘시티 플래그십(Dimensity Flagship) 5G’와 같은 첨단 칩 개발에 알파칩을 활용해 개발을 가속화하고 칩 성능을 개선n구글 딥마인드는 현재 알파칩의 차기 버전을 개발 중으로, 향후 알파칩이 칩 설계주기의 전 단계를 최적화하고 스마트폰, 의료 장비, 농업 센서 등에 사용되는 맞춤형 하드웨어의 칩 설계에 혁신을 가져올 것으로 기대☞ 출처: Google Deepmind, How AlphaChip transformed computer chip design, 2024.09.26.'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 18}, page_content='SPRi AI Brief |  2024-11월호\n16\nAI21 CEO, AI 에이전트에 트랜스포머 아키텍처의 대안 필요성 강조n이스라엘 AI 스타트업 AI21의 오리 고센 CEO는 AI 모델 개발에 주로 활용되는 트랜스포머 아키텍처가 느린 속도와 과도한 연산 비용으로 인해 AI 에이전트에 부적합하다고 지적n고센 CEO는 AI 에이전트를 활성화하려면 메모리 사용을 최적화하여 효율적 연산과 비용 절감을 지원하는 맘바나 잠바와 같은 대체 아키텍처에 주목해야 한다고 주장   \nKEY Contents\n£AI 에이전트 활성화를 위해 향상된 메모리 성능을 갖춘 대체 아키텍처 채택 필요n이스라엘의 AI 스타트업 AI21의 오리 고센(Ori Goshen) CEO가 AI 에이전트를 활성화하려면 트랜스포머(Transformer)* 이외의 새로운 아키텍처**가 필요하다고 주장* 문장 속 단어와 같은 순차 데이터 내의 관계를 추적해 맥락과 의미를 학습하는 신경망 ** AI 시스템이 데이터를 처리하고 학습하기 위한 신경망의 전체적인 구조와 설계 방식을 의미 ∙트랜스포머는 현재 AI 모델 개발에서 가장 많이 사용되는 아키텍처이지만, 다중 에이전트 생태계 조성 측면에서는 한계를 내포∙트랜스포머 아키텍처는 처리하는 컨텍스트가 길수록 속도가 느리고 연산 비용이 많이 드는데, AI 에이전트는 LLM을 여러 차례 호출해야 하고 각 단계에서 광범위한 컨텍스트를 사용하는 경우가 많아 처리 과정에서 지연이 발생n고센 CEO는 ‘맘바(Mamba)’와 ‘잠바(Jamba)’와 같은 대체 아키텍처를 활용하면 AI 에이전트를 더 효율적이고 저렴하게 만들 수 있다고 강조∙카네기멜론⼤와 프린스턴⼤ 연구진이 개발한 맘바는 트랜스포머 모델의 핵심인 어텐션(Attention)* 메커니즘 대신 데이터를 우선순위에 따라 정리하고 입력에 가중치를 부여해 메모리 사용을 최적화* 입력된 데이터 간 연관성을 파악해 상호작용을 계산하는 메커니즘 ∙미스트랄이 2024년 7월 ‘코드스트랄(Codestral) 맘바 7B’를, UAE의 AI 기업 팔콘(Falcon)이 8월 ‘팔콘 맘바 7B’를 출시하는 등, 최근 오픈소스 AI 개발자 사이에서 맘바의 인기가 높아지는 추세∙AI21 역시 맘바 아키텍처를 토대로 더 빠른 추론 시간과 더 긴 컨텍스트를 지원하는 잠바 아키텍처를 활용해 기반모델을 개발n고센 CEO는 AI 에이전트가 최근 들어서야 부상하고 있으며 대다수 AI 에이전트가 아직 상용화되지 않은 이유가 트랜스포머로 구축된 LLM의 한계 때문이라고 지적∙AI 에이전트가 상용화되려면 데이터 간 연관성을 파악해 확률적으로 가장 그럴듯한 답변을 생성하는 LLM의 신뢰성을 높여야 하며, 필요한 수준의 신뢰성 보장을 위해서는 추가적인 요소의 통합이 필요 ∙최근 서비스나우(ServiceNow), 세일즈포스 등 여러 기업이 AI 에이전트나 에이전트 구축을 지원하는 플랫폼을 출시하는 추세로, 고센 CEO는 이러한 추세가 적절한 기반모델과 아키텍처를 조합함으로써 더욱 확산될 것으로 예상☞ 출처: Venturebeat, AI21 CEO says transformers not right for AI agents due to error perpetuation, 2024.10.11.'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 19}, page_content='1. 정책/법제  2. 기업/산업 3. 기술/연구  4. 인력/교육\n17\nMIT 산업성과센터, 근로자 관점에서 자동화 기술의 영향 조사nMIT 산업성과센터가 설문조사를 통해 근로자 관점의 자동화 기술의 영향을 조사한 결과, 근로자들은 직장 내 안전, 임금, 업무 자율성 등에서 자동화를 긍정적으로 평가n복잡한 문제 해결이 필요한 작업을 수행하는 근로자 및 자신의 직무에 만족하는 근로자일수록 자동화의 영향에 긍정적인 것으로 확인\nKEY Contents\n£근로자들, 직장 내 안전, 임금, 업무 자율성 등에서 자동화의 영향에 긍정적nMIT 산업성과센터(IPC)는 2024년 9월 30일 9개국* 9천 명 이상의 근로자에 대한 설문조사를 바탕으로 근로자 관점에서 자동화 기술을 평가한 연구 결과를 공개* 독일, 미국, 스페인, 영국, 이탈리아, 일본, 폴란드, 프랑스, 호주∙연구진은 설문조사를 통해 업무 환경, 직장에서 사용되는 자동화 기술(로봇 및 AI 등), 업무와 기술에 대한 태도, 기술이 업무에 미치는 영향을 조사 n조사 결과, 근로자들 사이에서는 직장 내 안전이나 임금, 업무 자율성 등의 측면에서 자동화가 긍정적 영향을 미칠 것이란 응답이 우세∙자동화가 직장 내 안전에 미치는 영향에 대하여 응답자 44.9%는 긍정적으로 평가했으며 부정적 응답은 12.5%에 불과∙자동화가 임금에 미치는 영향은 28.8%가 긍정적, 24.8%는 부정적으로 답했으며, 업무 자율성에 미치는 영향은 37.9%는 긍정적, 19.9%가 부정적이라고 응답n자동화 기술에 대한 근로자들의 인식은 대체로 긍정적으로 나타났으나, 국가 별 차이가 존재하며 미국 근로자들이 가장 비관적 태도를 보유∙9개국 중 미국에서만 자동화가 임금 및 직업 안정성에 부정적이라는 응답이 긍정적이라는 응답보다 우세(임금: –0.6%, 직업 안정성: -4.6%)** 긍정적 응답에서 부정적 응답 비율을 뺀 수치n직무 유형에서는 복잡한 문제 해결이나 새로운 아이디어가 필요한 작업을 수행하는 사무직 근로자가 자동화에 더 긍정적이며, 직장 내 처우도 자동화에 대한 근로자의 인식에 영향을 발휘∙고용주가 근로자를 적절히 대우하고 안전에 투자하는 직장에서 일하는 근로자는 직장 내 자동화의 영향에 긍정적이며, 직무 만족도와 신뢰도도 자동화에 대한 긍정적 인식에 영향을 미치는 요인으로 확인n연구진은 조사 결과를 바탕으로 직장 내 원활한 자동화 기술 도입을 위해 직무 설계를 통해 근로자가 복잡한 문제를 해결할 수 있는 역할을 만들 것을 권고∙근로자들은 신기술 사용과 관련된 보너스가 제공되면 자동화에 더 긍정적인 것으로 나타나, 생산성 향상을 위한 자동화 기술 사용에 금전적 보상을 제공하는 방안도 고려 필요 ☞ 출처: MIT IPC, Automation from the Worker’s Perspective, 2024.09.30.'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 20}, page_content='SPRi AI Brief |  2024-11월호\n18\n다이스 조사, AI 전문가의 73%는 2025년 중 이직 고려n다이스에 따르면, AI 전문가의 73%는 2025년 이직을 계획 중이며, 58%는 2024년 중 현재보다 더 나은 일자리를 찾을 자신이 있다고 응답해 여타 기술 전문가 대비 직업 전망을 낙관nAI 전문가들은 여타 기술 전문가 대비 AI 도구 사용에도 적극적이며, 업무에 생성AI가 상당한 영향을 미친다는 응답도 36%로 여타 기술 전문가(22%) 대비 높은 수치를 기록\nKEY Contents\n£AI 전문가들, 일반적인 기술 전문가보다 직업 전망에 낙관적n미국 기술직 채용 플랫폼 다이스(Dice)의 조사에 따르면, AI 기술 전문가는 일반적인 기술 전문가 대비 기술 산업의 미래와 자기 경력에 대하여 낙관적∙이번 조사는 520명의 미국 정규직 기술 전문가와 390명의 인사 전문가의 응답을 토대로 기술 분야의 일자리 시장 환경을 분석∙2024년 동안 주요 빅테크가 기술직에 대한 정리해고를 단행하고 기술직 채용도 2021~2022년 대비 대폭 감소하는 등 일자리 시장의 침체에도 2024년 기술과 사업의 핵심 요소로 부상한 AI 분야의 전문가들은 직업 전망을 낙관nAI 전문가의 73%는 2025년에 이직을 계획 중이며, 58%는 2024년 중 현재보다 더 나은 새로운 일자리를 찾을 자신이 있다고 응답∙일반적인 기술 전문가의 경우 65%가 2025년 중 이직을 계획 중이며, 2024년 더 나은 신규 일자리를 찾을 수 있다고 자신하는 비율은 36%에 불과∙AI 전문가는 빅테크를 선호하는 비율이 29%로 일반적인 기술 전문가(18%) 대비 더 높게 나타났으며, 이는 예산 규모가 더 크고 중요한 AI 프로젝트에 관심이 있거나 빅테크의 채용 가능성에 자신 있기 때문으로 추측n그러나 AI 전문가들은 기업에서 자신이 맡은 업무에 대하여 엇갈린 감정을 표시했으며, 자신의 업무가 가치 있다고 느끼는 전문가일수록 현재 역할에 만족할 가능성도 증대할 것으로 추론∙AI 전문가의 51%는 자신의 프로젝트가 기업에 전략적 가치가 있다고 답했으나, 36%는 투자자나 이사회, 외부 관계자에게 기업이 AI로 뭔가를 하고 있음을 보여주기 위한 목적이라고 응답nAI 전문가들은 AI 도구 사용에도 적극적이지만, 일반적인 기술 전문가들은 업무에서 AI 도구 사용을 주저하는 편으로, AI 전문가들은 일주일에 1회 이상 AI를 사용하는 비율이 49%에 달했으나, 여타 기술 전문가들은 25%에 불과n생성AI가 미치는 영향에 대해서 AI 전문가 사이에서는 상당한 영향을 미친다는 응답이 36%, 약간의 영향을 미친다는 응답이 56%, 영향이 없다는 응답은 8%를 기록했으나, 여타 기술 전문가들은 22%가 상당한 영향, 53%는 약간의 영향, 26%는 영향이 없다고 응답 ☞  출처: Dice, 3 Key Lessons about the AI Tech Talent Market, 2024.09.05.'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 21}, page_content='1. 정책/법제  2. 기업/산업 3. 기술/연구  4. 인력/교육\n19\n가트너 예측, AI로 인해 엔지니어링 인력의 80%가 역량 향상 필요n가트너에 따르면 생성AI의 도입으로 중장기적으로 소프트웨어 엔지니어링에서 데이터 과학 및 AI/ML 역량의 중요성이 커지면서 AI 엔지니어의 수요가 늘어날 전망n기업들은 AI 엔지니어를 지원하고 기업 내 AI 통합을 촉진하기 위해 AI 개발자 플랫폼에 대한 투자를 강화할 필요\nKEY Contents\n£생성AI로 소프트웨어 엔지니어링에서 데이터과학과 AI/ML 역량의 중요성 증대n시장조사기관 가트너(Gartner)에 따르면 2027년까지 생성AI로 인해 소프트웨어 엔지니어링 인력의 80%가 역량 향상이 필요할 전망∙AI로 인해 인간 엔지니어에 대한 수요가 감소하거나 심지어 AI가 인간을 대체할 것이라는 예상과 달리, 가트너는 AI가 향후 소프트웨어 엔지니어의 역할을 변화시키더라도 인간의 전문성과 창의성은 여전히 중요하다고 강조n가트너에 따르면 생성AI는 소프트웨어 엔지니어의 역할에 단기, 중기, 장기적으로 영향을 미칠 전망∙단기적으로는 AI가 기존 개발자의 작업 패턴과 업무를 보완하며 소폭의 생산성 향상 효과를 가져오며, AI의 생산성 향상 효과는 성숙한 엔지니어링 관행을 갖춘 기업의 상급 개발자에게 집중될 전망∙중기적으로는 AI 에이전트를 통해 더 많은 업무가 자동화되어 개발자의 작업 패턴의 변화가 예상되며, 이는 코드 대부분이 인간이 아닌 AI로 생성되는 AI 네이티브 소프트웨어 엔지니어링의 출현을 의미해 자연어 프롬프트 엔지니어링과 검색 증강 생성(RAG)* 기술이 엔지니어링의 필수 역량이 될 전망* 외부 데이터를 활용하여 LLM의 출력 정확성을 향상하는 기술∙장기적으로는 기업 내 AI 기반 소프트웨어 수요가 증가하면서 이를 충족하기 위해 소프트웨어 엔지니어링, 데이터 과학, AI/ML(머신러닝) 분야의 고유한 기술을 갖춘 훨씬 숙련된 AI 엔지니어가 부상할 전망£AI 엔지니어를 지원하기 위해 기업의 AI 개발자 플랫폼 투자 필요n가트너가 2023년 4분기에 미국과 영국 기업 300개를 대상으로 실시한 설문조사에 따르면 소프트웨어 엔지니어링 책임자의 56%가 AI/ML 엔지니어를 2024년 가장 수요가 많은 직업으로 평가∙기업들은 AI 엔지니어를 지원하기 위해 AI 개발자 플랫폼에 투자해야 하며, AI 개발자 플랫폼은 기업이 AI 역량을 더욱 효율적으로 구축하고 AI를 기업 솔루션에 대규모로 통합하는 데 도움이 될 전망∙기업들은 AI 개발자 플랫폼 투자를 통해 소프트웨어 엔지니어링팀의 역량을 강화하고 지속적인 AI 통합과 개발을 추진하는 도구와 프로세스를 채택 필요 ☞  출처: Gartner, Gartner Says Generative AI will Require 80% of Engineering Workforce to Upskill Through 2027, 2024.10.03.'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 22}, page_content='SPRi AI Brief |  2024-11월호\n20\n인디드 조사 결과, 생성AI가 인간 근로자 대체할 가능성은 희박n인디드가 2,800개 이상의 직무 기술에 대한 생성AI의 수행 능력을 분석해 인간을 대체할 가능성을 평가한 결과, 생성AI로 대체될 가능성이 “매우 높은” 것으로 평가된 기술은 전무n생성AI의 최대 강점은 직무 기술과 관련된 이론적 지식을 제공하는 능력이며, 물리적 작업 수행이 필요한 직무 기술에서는 인간 근로자를 대체할 가능성이 희박 \nKEY Contents\n£생성AI, 문제 해결 역량 및 물리적 작업 수행 역량의 부족으로 인간 근로자 대체에 한계n미국의 채용 플랫폼 인디드(Indeed) 산하 연구소 하이어링랩(Hiring Lab)이 2024년 9월 25일 발표한 연구 결과에 따르면 생성AI가 인간 근로자를 대체할 가능성은 희박∙인디드 하이어링랩은 오픈AI의 GPT-4o로 2,800개 이상의 고유한 직무 기술에 대한 생성AI의 수행 능력을 분석해 생성AI가 인간을 대체할 가능성을 평가∙연구진은 오픈AI의 GPT-4o가 △기술과 관련된 이론적 지식의 제공 역량 △기술을 사용한 문제 해결 역량 △기술 활용 시 물리적 작업의 중요성에 관한 판단 능력의 3개 차원에서 자체 수행 능력을 평가하도록 진행 ∙다섯 가지 선택지(매우 낮음, 낮음, 보통, 높음, 매우 높음)로 평가 결과, 인디드가 평가 대상으로 삼은 2,800개 이상의 직무 기술 중 68.7%는 생성AI로 대체될 가능성이 “매우 낮음” 또는 “낮음”으로 평가됐으며, “매우 높음”으로 평가된 기술은 전무n생성AI는 직무 기술의 이론적 지식을 제공하는 자체 능력을 다소 높게 평가했으나, 문제 해결 능력 및 물리적 작업의 중요성에 관한 판단 능력은 상대적으로 낮게 평가∙생성AI는 직무 기술 중 79.7%에 이론적 지식의 제공 능력을 4점(높음)으로, 기술 중 70.7%에 문제 해결 역량을 3점(보통)으로 평가했으며, 기술 중 54%에 대하여 물리적 작업의 필요성이 “높음” 또는 “매우 높음”이라고 평가** 매우 낮음(very unlikely 1점), 낮음(unlikely, 2점), 보통(possible, 3점), 높음(likely, 4점), 매우 높음(very likely, 5점) ∙생성AI는 물리적 작업을 수행할 몸체가 없어 실제 작업 수행이 필요한 직무 기술에서는 인간 근로자를 대체할 가능성이 제한적∙일례로 생성AI는 디지털 기술 비중이 큰 소프트웨어 개발 직종의 구인 공고에서 통상 제시되는 직무 기술의 71%에 대하여 인간을 대체할 가능성이 “보통” 또는 “높음”으로 평가했으나, 간호사 직종의 구인 공고에 제시되는 기술의 약 32.9%만 생성AI로 대체될 가능성이 “보통” 또는 “높음”으로 평가  n인디드는 현재 생성AI의 최대 강점은 직무 기술과 관련된 이론적 지식을 제공하는 능력이라고 강조∙생성AI는 직원 생산성을 극대화하여 노동 시장의 경색을 완화할 수 있으며, 물리적 작업 수행이 필요한 직업에서도 근로자가 핵심 업무에 집중할 수 있도록 지원 가능  ∙그러나 생성AI는 논리적 오류나 사실과 다른 내용 또는 편향이나 차별과 같은 비윤리적 응답을 출력할 가능성도 있으므로 인간의 신중한 검토 필요☞  출처: Indeed Hiring Lab, AI at Work: Why GenAI Is More Likely To Support Workers Than Replace Them, 2024.09.25.'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 23}, page_content='21\n행사명행사 주요 개요\nNeurIPS 2024 \n-신경정보처리시스템재단은 인공지능과 머신러닝 분야의 연구 성과 교환을 촉진하는 것을 목적으로 하는 비영리 법인으로 매년 학제간 학술대회(NeurIPS)를 주최-이번 제38회 연례학술대회는 AI 연구자를 위한 실험 설계,  LLM을 위한 메타 생성 알고리즘, 정렬에 대한 학제 간 통찰력 등을 다룰 예정기간장소 홈페이지2024.12.10~15캐나다 밴쿠버 https://neurips.cc/ GenAI Summit Maroc 2024 \n-GenAI Summit Maroc 2024는 인공지능과 데이터 분석에 초점을 맞춘 최고의 이벤트로, 250명 이상의 업계 리더, 정책 입안자, 전문가가 모여 AI 발전을 탐구-이번 행사에는 오픈소스 AI, AI 주도 사이버 보안, 우수한 의사결정을 위한 생성AI와 예측 AI 결합 등을 다룰 예정기간장소 홈페이지2024.12.10~11모로코 https://genaimaroc.com/ \nAI Summit Seoul 2024\n-AI Summit Seoul 행사는 2018년 개최를 시작으로 금년도는 7회 행사로 개최-이번 행사는 AI와 산업의 융합에 초점을 두고 다양한 글로벌 기업과 기관, 학계 전문가 등 전문가들이 한자리에 모여 AI 및 산업 트렌드 등에 대한 주제 발표 및 워크샵 진행 기간장소 홈페이지2024.12.10~11서울(코엑스 그랜드볼룸) https://aisummit.co.kr/\nⅡ. 주요 행사 일정'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 24}, page_content='경기도 성남시 분당구 대왕판교로 712번길 22 글로벌 R&D 연구동(B) 4층22, Daewangpangyo-ro 712beon-gil, Bundang-gu, Seongnam-si, Gyeonggi-do, Republic of

2. RecursiveCharacterTextSplitter

  • separator를 지정하지 않은 것이 앞선 CharacterTextSplitter와의 차이점임
from langchain.text_splitter import RecursiveCharacterTextSplitter

recursive_text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=100,
    chunk_overlap=10,
    length_function=len,
    is_separator_regex=False,
)

splits = recursive_text_splitter.split_documents(docs)
[Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 0}, page_content='2024년 11월호'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 1}, page_content='2024년 11월호'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 1}, page_content='Ⅰ. 인공지능 산업 동향 브리프 1. 정책/법제    ▹ 미국 민권위원회, 연방정부의 얼굴인식 기술 사용에 따른 민권 영향 분석························1'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 1}, page_content='▹ 미국 백악관 예산관리국, 정부의 책임 있는 AI 조달을 위한 지침 발표·····························2   ▹ 유로폴, 법 집행에서 AI의 이점과'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 1}, page_content='AI의 이점과 과제를 다룬 보고서 발간··············································3   ▹ OECD, 공공 부문의 AI 도입을 위한 G7'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 1}, page_content='도입을 위한 G7 툴킷 발표··························································4   ▹ 세계경제포럼, 생성AI 시대의'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 1}, page_content='생성AI 시대의 거버넌스 프레임워크 제시····················································5  2. 기업/산업    ▹ CB인사이츠'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 1}, page_content='▹ CB인사이츠 분석 결과, 2024년 3분기 벤처 투자 31%가 AI 스타트업에 집중··············6   ▹ 메타, 동영상 생성AI 도구 ‘메타 무비 젠’'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 1}, page_content='‘메타 무비 젠’ 공개···································································7   ▹ 메타, 이미지와 텍스트'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 1}, page_content='이미지와 텍스트 처리하는 첫 멀티모달 AI 모델 ‘라마 3.2’ 공개···························8   ▹ 앨런AI연구소, 벤치마크 평가에서 GPT-4o'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 1}, page_content='GPT-4o 능가하는 성능의 오픈소스 LLM ‘몰모’ 공개····9   ▹ 미스트랄AI, 온디바이스용 AI 모델 ‘레 미니스트로’'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 1}, page_content='‘레 미니스트로’ 공개·················································10   ▹ 카카오, 통합 AI 브랜드 겸 신규 AI 서비스'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 1}, page_content='신규 AI 서비스 ‘카나나’ 공개···············································11 3. 기술/연구   ▹ 2024년 노벨 물리학상과'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 1}, page_content='노벨 물리학상과 화학상, AI 관련 연구자들이 수상············································12   ▹ 미국 국무부, AI 연구에서'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 1}, page_content='AI 연구에서 국제협력을 위한 ‘글로벌 AI 연구 의제’ 발표························13   ▹ 일본 AI안전연구소, AI 안전성에 대한 평가 관점 가이드'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 1}, page_content='평가 관점 가이드 발간········································14   ▹ 구글 딥마인드, 반도체 칩 레이아웃 설계하는 AI 모델 ‘알파칩’'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 1}, page_content='모델 ‘알파칩’ 발표·····························15   ▹ AI21 CEO, AI 에이전트에 트랜스포머 아키텍처의 대안 필요성'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 1}, page_content='대안 필요성 강조····························16    4. 인력/교육        ▹ MIT 산업성과센터, 근로자 관점에서 자동화 기술의 영향'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 1}, page_content='기술의 영향 조사········································17   ▹ 다이스 조사, AI 전문가의 73%는 2025년 중 이직'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 1}, page_content='중 이직 고려················································18   ▹ 가트너 예측, AI로 인해 엔지니어링 인력의 80%가 역량 향상'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 1}, page_content='역량 향상 필요 ·····························19   ▹ 인디드 조사 결과, 생성AI가 인간 근로자 대체할 가능성은'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 1}, page_content='대체할 가능성은 희박·····································20'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 1}, page_content='Ⅱ. 주요 행사  ▹NeurIPS 2024'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 1}, page_content='···································································································'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 1}, page_content='·····························21'),
...
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 23}, page_content='그랜드볼룸) https://aisummit.co.kr/'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 23}, page_content='Ⅱ. 주요 행사 일정'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 24}, page_content='경기도 성남시 분당구 대왕판교로 712번길 22 글로벌 R&D 연구동(B) 4층22, Daewangpangyo-ro 712beon-gil, Bundang-gu,'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 24}, page_content='Seongnam-si, Gyeonggi-do, Republic of Korea, 13488'),
 Document(metadata={'source': '인공지능산업최신동향_2024년11월호.pdf', 'page': 24}, page_content='홈페이지 : https://spri.kr/보고서와 관련된 문의는 AI정책연구실(hs.lee@spri.kr, 031-739-7333)로 연락주시기 바랍니다.')]
Output is truncated. View as a scrollable element or open in a text editor. Adjust cell output settings...

그렇다면 두가지 청킹 방법의 차이점은 뭘까??

CharacterTextSplitter

  • 단일 구분자 기준으로 텍스트를 분할함
  • seperator로 지정된 구분자를 기준으로 텍스트를 나누고, 이후 chunk_size와 chunk_overlap 설정에 따라 각 청크를 생성함
  • 구분자가 설정한 청크 크기를 넘지 않도록 텍스트를 일정하게 나누지만, 지정된 구분자만을 사용해 분할하므로 텍스트가 chunk_size보다 길 경우 긴 청크로 남을 수 있음

RecursiveCharacterTextSplitter

  • 여러 개의 구분자를 우선순위에 따라 재귀적으로 적용하여 텍스트를 나눔
  • 예를 들어, 문단(\n\n), 문장(.), 단어( ) 등 여러 구분자가 제공되면, 가장 큰 단위 구분자부터 적용해 나누고, 단위가 너무 크면 더 작은 구분자를 차례로 적용하여 청크를 나눔
  • 재귀적 방식으로 점차 더 작은 단위로 나누기 때문에, 구분자의 크기가 chunk_size에 맞춰지지 않을 경우 더 작은 구분자로 세밀하게 텍스트를 나누어 최적의 크기를 맞춤
  • 이 방식은 텍스트를 더욱 정교하게 나누며, 문맥을 최대한 유지하면서 chunk_size에 가깝게 분할하는 방식임

5. 벡터 임베딩 생성

  • 텍스트를 벡터로 변환해야 함, 엄밀히 말하자면 청킹해온 pdf의 텍스트 데이터를 벡터 변환을 해주는 작업이라고 보면 됨
from langchain_openai import OpenAIEmbeddings

# OpenAI 임베딩 모델 초기화
embeddings = OpenAIEmbeddings(model="text-embedding-ada-002")

6. 벡터 스토어 생성

  • FAISS : 대규모 벡터 데이터를 효율적으로 저장하고 유사도 검색을 수행하는 라이브러리임
  • 주로 임베딩이라는 고차원 벡터 형태로 표현된 텍스트, 이미지, 오디오 등의 데이터를 빠르게 검색할 수 있게 최적화되어 있음

  • 벡터 스토어 : 말그대로 벡터로 표현된 데이터를 저장하고 관리하며, 빠르게 검색할 수 있는 환경을 제공하는 시스템임

  • 벡터 스토어는 임베딩 벡터를 저장하고 검색을 수행하는데, 벡터화된 텍스트나 이미지 등을 유사도 기반으로 검색하기 위해 설계된 데이터베이스와 같음

  • 즉, 벡터 스토어가 큰 개념이고, 이를 활용할 수 있는 라이브러리로 FAISS가 존재하는데 이는 특히 대규모 벡터 데이터의 빠른 유사도 검색을 위해 최적화된 라이브러리라고 할 수 있겠음

import faiss
from langchain_community.vectorstores import FAISS


vectorstore = FAISS.from_documents(documents=splits, embedding=embeddings)

7. Retriever 변환

  • FAISS는 벡터 유사도 검색을 담당하지만, RAG 체인의 Retriever는 이 검색 결과를 텍스트 형태로 반환할 수 있어야 하기 때문임
  • 프로세스는 다음과 같다.
  • FAISS 인덱스를 Retriever로 변환하면, 검색된 벡터 ID를 실제 문서 내용과 연결하여 최종적으로 유사한 문서 텍스트를 반환할 수 있게 됨
  • 변환 후의 Retriever의 형태
  • i. 질의 -> 임베딩 변환 : 자연어 쿼리를 임베딩으로 변환함
  • ii. 유사도 검색 : 변환된 임베딩을 FAISS 인덱스에 입력하여 유사한 벡터를 찾음
  • iii. 문서 조회 : 검색된 벡터 ID에 대응하는 문서 텍스트를 조회하고, 이를 반환함 
# k=1의 의미로는 검색 결과로 반환할 유사한 벡터의 개수를 1개로 설정하겠다는 의미임
retriever = vector_store.as_retriever(search_type="similarity", search_kwargs={"k": 1})

8. 프롬프트 템플릿 정의

  • system과 user 정의
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import RunnablePassthrough

# 프롬프트 템플릿 정의
contextual_prompt = ChatPromptTemplate.from_messages([
    ("system", "Answer the question using only the following context."),
    ("user", "Context: {context}\\n\\nQuestion: {question}")
])

9. RAG 체인 구성

  • DebugPassThrough : 디버그
  • ContextToText : 문서 리스트를 텍스트로 변환함
  • 즉, RAG 체인을 통해 해당하는 벡터 1개를 가져오는 retriever, input된 질문에 따라 retriever가 가져온 문서를 문자열로 결합하는 ContextToText, 적절한 프롬프트로 구성한 후 (contextual_prompt) 모델이 답변을 생성하게 됨
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import RunnablePassthrough

class DebugPassThrough(RunnablePassthrough):
    def invoke(self, *args, **kwargs):
        output = super().invoke(*args, **kwargs)
        print("Debug Output:", output)
        return output
        
# 문서 리스트를 텍스트로 변환하는 단계 추가
class ContextToText(RunnablePassthrough):

    def invoke(self, inputs, config=None, **kwargs):  # config 인수 추가
        # context의 각 문서를 문자열로 결합
        context_text = "\n".join([doc.page_content for doc in inputs["context"]])
        return {"context": context_text, "question": inputs["question"]}

# RAG 체인에서 각 단계마다 DebugPassThrough 추가
rag_chain_debug = {
    "context": retriever,                    # 컨텍스트를 가져오는 retriever
    "question": DebugPassThrough()        # 사용자 질문이 그대로 전달되는지 확인하는 passthrough
}  | DebugPassThrough() | ContextToText()|   contextual_prompt | model

10. 챗봇 구동 확인

while True:
    query = input("질문을 입력하세요 : ")
    if query == "exit":
        break
    response = rag_chain_debug.invoke(query)
    print("Final Response:")
    print(response.content)
profile
Cookie Baking
이전 포스트

AI 부트캠프 - 30일차

다음 포스트

AI 부트캠프 - 32일차

0개의 댓글