Ai-tech

Ai 관련 활동 및 공부 정리

Level1

[U] Pyhon & AI Math - 1주차

Python Basics for AI

• computer class
• function and string
• Python Data Structure and code
• File and Exception and Log handling
• numpy and pandas

AI Math

• 벡터와 행렬
• 경사하강법
• 딥러닝 및 확률론, 통계학
• CNN과 RNN

[U] DL Basic - 2주차

MLP

Optimization

CNN

RNN

LSTM

Generative Model

시각화

[U] PyTorch - 3주차

• Pytorch

• Introduction to PyTorch
• PyTorch Basics
• PyTorch 프로젝트 구조 이해하기
• AutoGrad & Optimizer
• Dataset & Dataloader
• 모델 불러오기
• Monitoring tools for PyTorch
• Multi-GPU 학습
• Hyperparameter Tuning
• Pytorch Troubleshooting

• Data Visualization

• Text 사용하기
• Color 사용하기
• Facet 사용하기

[P] 이미지 분류 - 4 & 5주차

• 강의 정리

• Competition with AI stages!
• Image Classification & EDA
• Dataset
• Data Generation
• Model
• Model - Pretrained Model
• Training & Inference
• Ensemble
• Experiment Toolkits & Tips

• 마스크 착용 상태 분류 경진 대회 진전 상태

• 마스크 착용 상태 분류 경진 대회 데이터 EDA
• Train Dataset과 Test Dataset 구축하기
• ResNet50 & EfficientNet b4 시도 및 방향
• EfficientNetb4 + VIT 시도 및 방향
• EfficientNetb4 + VIT + cutmix 시도 및 방향
• EfficientNetb3 + Focal loss 시도 및 방향
• EfficientNetb3 + label smoothing & Multi Sample Dropout 시도 및 방향
• EfficientNetb3 + vit_base_patch16_224 시도 및 방향
• 대회 회고

---

Level2

[U] NLP - 6주차

• NLP

• Intro to NLP, Bag-of-Words
• Word Embedding
• Recurrent Neural Network and Language Modeling
• LSTM and GRU
• Seq2Seq with attention Encoder-decoder architecture Attention mechanism
• Beam search and BLEU score
• 6주차 회고

• 시각화

• Polor Coordinate
• Pie Charts
• Interactive Visualization

[U] NLP - 7주차

• transformer

• 실습7. multi head attention
• 실습8. Masked Multi-head Attention

• bert, gpt-1

• 실습9. transformers(BERT)
• 실습10. transformers(GPT-2)

• gpt-2, GPT-3, ALBERT, ELECTRA

• 선택과제1. huggingFace FineTuning
• 선택과제3. Byte Pair Encoding

• 7주차 회고

특강 - 8주차

• 특강

• (특강) 이활석 - 서비스 향 AI 모델 개발하기
• (특강) 김상훈 - 캐글 그랜드마스터의 노하우 대방출
• (특강) 구종만 - AI + ML과 Quant Trading
• (특강) 이준엽 - Full Stack ML Engineer
• (특강) 오혜연 - AI Ethics
• (특강) 박은정 - AI 시대의 커리어 빌딩
• (특강) 박성준 - 자연어 처리를 위한 언어 모델의 학습과 평가

---

level2 - P Stage(KLUE 문장 내 개체간 관계 추출 프로젝트)

[P] KLUE - 9주차

• 강의 정리

• 인공지능과 자연어 처리
• 자연어의 전처리
• BERT 언어모델 소개
• 한국어 BERT 언어 모델 학습 및 다중 과제 튜닝 - BERT Pre-Training
• BERT 기반 단일 문장 분류 모델 학습
• BERT 기반 두 문장 관계 분류 모델 학습
• BERT 언어모델 기반의 문장 토큰 분류

[P] KLUE - 10주차

• 강의 정리

• GPT 언어 모델
• GPT 언어모델 기반의 자연어 생성
• 최신 자연어처리 연구

• 대회 코드 링크

---

level2 - P Stage(Open Domain Question Answering 프로젝트)

[P] MRC - 11주차

• 강의 정리

• MRC Intro & Python Basics
• Extraction-based MRC
• Generation-based MRC
• Passage Retrieval - Sparse Embedding
• Passage Retrieval - Dense Embedding
• Scaling up with FAISS
• Linking MRC and Retrieval

[P] MRC - 12주차

• Reducing Training Bias

[P] MRC - 13주차 & 14주차

• Closed-book QA with T5

• 대회 코드 링크

---

level3 - P Stage(데이터 제작 프로젝트)

[P] - 데이터 제작(NLP) 15주차 & 16주차

• 데이터 제작의 A to Z
• 자연어처리 데이터 기초
• 자연어처리 데이터 소개 1
• 자연어처리 데이터 소개 2
• 원시 데이터의 수집과 가공
• 데이터 구축 작업 설계
• 데이터 구축 가이드라인 작성 기초
• 관계 추출 과제의 이해
• 관계 추출 관련 논문 읽기
• 관계 추출 데이터 구축 실습

• 프로젝트 코드 링크

---

level3 - P Stage(모델 최적화 대회)

[P] 모델 최적화 - 17주차

• 최적화 소개 및 강의 개요
• 대회 및 데이터셋 소개
• 작은 모델, 좋은 파라미터 찾기: AutoML 이론
• 작은 모델, 좋은 파라미터 찾기: AutoML 실습
• 작은 모델, 좋은 파라미터 찾기: Data Augmentation & AutoML 결과 분석
• A. 모델 경량화 기법 101 - CV
• B1. 모델 경량화 기법 101 - NLP Part 1
• B2. 모델 경량화 기법 101 - NLP Part 2

[P] 모델 최적화 - 18주차

• 찾은 모델 잘게 찢기: Tensor Decomposition 이론

• 프로젝트 코드 링크

---

level3 - P Stage(Product Serving & Final Project)

[P] Product Serving - 19주차

• MLOps 개론
• Model Serving
• 머신러닝 프로젝트 라이프 사이클
• 프로토타이핑 - 웹 서비스 형태(Streamlit)
• Linux & Shell Command
• Cloud
• Github Action을 활용한 CI/CD

[P] Product Serving - 20주차

• FastAPI
• Docker
• Logging
• MLflow

최종 프로젝트 링크