microGPT는 지난 2월 12일에 Andrej Karpathy가 만든 GPT(Transformer) 모델의 가장 단순한 형태를 보여주는 200줄짜리 순수 Python 코드 프로젝트이다.
외부 라이브러리(PyTorch, NumPy 등)없이 기본 알고리즘 전체를 구현한 코드여서 공부하기에 좋다. CUDA도 사용하지 않았기에 CPU에서 구동이 가능하다.
- 전체 소스 코드는 GitHub gist에서 확인할 수 있다. microgpt.py
- 위 이미지처럼 소스코드를 한 페이지에 볼 수도 있다. https://karpathy.ai/microgpt.html
- 그리고 코랩 노트북에서도 바로 실행 해볼 수 있다. Google Colab notebook
지난 코드컨벤션 게시글 처럼, 시간이 될 때마다 틈틈이 해당 내용을 정리해 나갈 예정이다.