Algorithms & Models
[📌 namdarine’s AI Review] BERT가 바꾼 것은 아키텍처가 아니었다 - 언어를 읽는 방향이었다
BERT 논문 'Pre-training of Deep Bidirectional Transformers' 심층 리뷰. MLM의 원리, GPT와의 차이, 그리고 8년 후 BERT가 어디에 있는지까지. 2026년 관점에서 정리합니다.
namdarine •
배움은 도구가 되고, 도구는 이야기가 됩니다.
배우고, 만들고, 나누는 모든 여정의 기록.
BERT 논문 'Pre-training of Deep Bidirectional Transformers' 심층 리뷰. MLM의 원리, GPT와의 차이, 그리고 8년 후 BERT가 어디에 있는지까지. 2026년 관점에서 정리합니다.
GPT-3 논문 'Language Models are Few-Shot Learners' 핵심 요약. Fine-tuning 없이 문맥만으로 학습하는 In-context Learning의 원리와 한계, 그리고 ChatGPT로 이어진 영향까지 쉽게 설명합니다.
비지도 사전 학습이 자연어 처리의 방향을 바꾼 순간
Transformer 기술을 소개한 논문 리뷰