Sigmoid: σ(x)=1/(1+e^(-x)), 범위0,1, 도함수:σ'(x)=σ(x)(1-σ(x)), 문제:기울기소실,비영점중심,exp()비용 Tanh: tanh(x)=(e^x-e^(-x))/(e^x+e^(-x))=2σ(2x)-1, 범위-1,1, 도함수:1-tanh

fellou에 의해 작성됨

최근에 LG AI Research 에서 나온 모델인 Exaone 3.5가 있었다.그리고 얼마전에 또 추론이 가능한 모델로 Exaone deep 이 출시 되었다.출처: https://www.lgresearch.ai/exaone모델 파라미터 수는 2.4B, 7.8

최근에 QwQ 32B 모델이 꽤나 큰 화제였다.모델 성능 지표에서 파라미터 갯수가 전부는 아니지만 그래도 32B 짜리 모델이 671B 모델인 R1 과 성능을 견준다는 것이 꽤나 충격적이었다.

최근 ChatGPT와 같은 거대 언어모델(LLM)의 등장은 사회 각 분야에 큰 변화를 일으키고 있습니다. 그러나 이러한 혁신 뒤편에는 막대한 전력 소모와 컴퓨팅 자원의 한계라는 심각한 문제가 숨겨져 있습니다.

2025년 2월 18일, 인공지능(AI) 업계에 또 한 번의 혁신이 찾아왔습니다. 일론 머스크가 이끄는 AI 전문 기업 xAI가 최신 AI 모델 Grok3를 공식 공개했습니다. 이번 Grok3는 기존 모델 Grok2의 10배에 달하는 연산 능력과 혁신적인 기능을 탑재하

양자화는 모델의 가중치와 연산을 낮은 비트(bit)로 변환하는 기술입니다.예시: 32비트 부동소수점(FP32) → 8비트 정수(INT8)로 변환하여 모델 경량화.수식 예시 (간소화):FP32 값 범위: -3.4e38, 3.4e38INT8 변환: -128, 127 범위로

Ollama 설치: 공식 문서 참조LLaMA3 모델 로드:필요 라이브러리:✅ 허용 데이터: 자체 제작 문서CC-BY, MIT License 등 오픈 라이선스 자료위키백과(CC BY-SA 3.0)❌ 금지 데이터:저작권이 있는 서적/논문웹 스크래핑 데이터(명시적 허락 없을

대규모 언어 모델(LLM)의 발전으로 자연어 처리 분야는 혁신적인 변화를 맞이하고 있습니다. 그중에서도 Meta AI에서 개발한 LLaMA(Large Language Model Meta AI) 모델은 상대적으로 적은 파라미터 수로도 우수한 성능을 보이며, 연구자들과 개

인공지능(AI)의 발전과 함께 대규모 언어 모델(LLM)의 활용이 급증하고 있습니다. 이러한 모델들은 자연어 처리 분야에서 혁신적인 변화를 이끌어내고 있으며, 다양한 애플리케이션 개발에 핵심적인 역할을 하고 있습니다. 그러나 LLM을 실제 애플리케이션에 통합하고 활용하

Cursor AI는 인공지능을 활용하여 개발자의 생산성을 극대화하는 혁신적인 코드 편집기입니다. 코드 자동 완성, 자연어 코드 생성, 실시간 오류 감지 등 다양한 기능을 제공하여 초보자부터 숙련된 개발자까지 모두에게 유용한 도구로 자리 잡고 있습니다. 이번 글에서는 C

멀티모달(Multimodal)은 여러 가지 형태의 데이터를 동시에 활용하는 방식을 의미합니다. 예를 들어, 텍스트, 이미지, 오디오, 비디오 등 다양한 형태의 데이터를 결합하여 정보를 처리하거나 표현하는 것을 말합니다. 이러한 접근 방식은 인간의 복합적인 의사소통 방식

알리바바 클라우드는 최근 최신 대규모 언어 모델(LLM)인 Qwen 2.5를 공개하였습니다.

AI와 자연어 처리(NLP)의 발전으로 인해 언어 모델(LLM, Large Language Model)이 많은 관심을 받고 있습니다. 그러나 언어 모델은 사전에 학습한 데이터만으로 답변을 생성하기 때문에 최신 정보나 구체적인 문맥을 반영하기 어렵다는 한계가 있습니다.

AI 에이전트(Artificial Intelligence Agent)는 사용자의 요청을 이해하고 이에 맞는 작업을 수행하는 지능형 시스템을 의미합니다. 최근 ChatGPT와 같은 생성형 AI가 주목받으면서 AI 에이전트의 활용이 다양한 산업군에서 빠르게 확산되고 있습니

최근 인공지능(AI) 분야에서 주목할 만한 소식이 전해졌습니다. 중국의 AI 스타트업 딥시크(DeepSeek)가 6,710억 개의 매개변수를 가진 초대형 오픈 소스 언어 모델인 DeepSeek-V3를 발표했습니다. 이는 현재까지 공개된 오픈 소스 모델 중 최대 규모로,

TFLOPS(Tera Floating Point Operations Per Second)는 GPU의 초당 부동소수점 연산 속도를 나타내는 주요 성능 지표입니다. 이 값은 GPU가 초당 얼마나 많은 연산을 수행할 수 있는지를 수치로 표현하며, 그래픽 작업, 게임, AI

Genesis는 로보틱스와 인공지능 연구를 위한 혁신적인 범용 물리 엔진입니다. 이 엔진은 다양한 물리적 현상을 고속으로 시뮬레이션하며, 사용자 친화적인 파이썬 기반 인터페이스를 제공합니다.주요 특징:고속 시뮬레이션: Genesis는 GPU 가속 병렬 계산을 통해 기존

오늘은 SegFormer 모델을 활용하여 균열 감지를 위한 세그멘테이션 작업을 진행했습니다. 프로젝트의 주요 목표는 다양한 이미지에서 균열을 정확히 탐지하는 모델을 학습시키는 것이었으며, 이를 위해 SegFormer라는 세그멘테이션 모델을 사용했습니다. 이번 프로젝트에

tensorflow를 사용하려던 중 계속 오류가 나고 나는 아나콘다 환경을 사용중이라이거를 입력해서 설치를 받아도 계속 같은 오류만 생겼었다,구글링을 해보니 답이 나와서 공유차 글을 쓴다.에 있는 zlib.dll 파일을 복사해서에 붙여넣고 이름을 zlibwapi.dll