README.md

Материалы курса по компьютерной лингвистике (Natural Language Processing course materials)

Jupyter-ноутбуки курса

Вводная часть (1 модуль)

• Regexps
• Ngrams
• Lexical disambiguation
• Language classification
• LLM APIs

Основная часть

1. Предобработка текста (Text preprocessing)
   Токенизация, лемматизация, стемминг, pymorphy, mystem, regex, razdel, deduplication, lsh, minhash.
2. Классификация текста (мешок слов) (Bag-of-words classification)
   TFIDF, CountVectorizer, LogReg, KNN, DecisionTrees, Naive Bayes, RandomForest, косинусная близость, тональность текста
3. Поиск и исправление опечаток (Spellchecking)
   Алгоритм Норвига, расстояние Левенштейна, символьные нграммы, SymSpell.
4. Базовое языковое моделирование (Basic Language Modelling)
   Вероятность слова, Ngram language model, перплексия, генерация текста, beam search.
5. Тематическое моделирование (Topic modelling)
   Матричные разложения (SVD, NMF), LDA, перплексия, когерентность.
6. Векторные представления слов (word2vec/fastext) (Word embeddings)
   cbow, skip-gram, negative sampling
7. Convolutional Neural Networks for text classification
   CNN.
8. RNN и извлечение именованных сущностей (Named Entity Recognition)
   LSTM, GRU, Bidirectional RNN, IOB кодировка, sequence labelling.
9. Трансформеры. BERT и GPT (Transformers. BERT and GPT) (BERT, GPT)
   Transformer, BERT, HuggingFace, fine-tuning, text generation, sampling parameters (temperature, top_p, top_k)
10. Трансформеры. Seq2Seq. Машинный перевод (Transformers. Seq2Seq. Machine Translation)
    multi-head attention, encoder-decoder model, bleu score
11. Трансформеры. Дообучение на инструкциях (Transformers. Instruct fine-tuning)
    alpaca, dolly, flan-t5
12. Трансформеры. PEFT
    quantization, LoRA, QLoRA
13. Multimodality (text and images)
    CLIP, BLIP, Idefics, Stable diffusion
14. Трансформеры. RLHF, DPO
    human feedback, DPO + QLoRA

Архивные jupyter-ноутбуки

• NER с помощью грамматик (yargy)
• Few-shot NER (deep pavlov)
• Деревья зависимостей (Dependency trees)
• Тематическое моделирование в BigARTM
• Keyword extraction
• CNN (tf), CNN (pytorch)
• RNN (pytorch)
• Deep learning intro (tf), Deep learning intro (pytorch)
• Кластеризация (Clustering)
• Морфологическая дизамбигуация
• Использование предобученных моделей (pytorch)
• Viterbi/MEMM
• Sentence tokenization
• Relation extraction
• Semantic Role Labelling

Jupyter-notebooks in English

• Text preprocessing
• Basic Language modelling
• Topic modelling
• Word Embeddings