Large Language Models

De cursus Large Language Models van SpiralTrain biedt een diepgaand overzicht van grote taalmodellen (LLMs), van transformer architecturen tot geavanceerde onderwerpen zoals fine-tuning, veiligheid, d

Introductie tot LLMs

Deze module geeft een overzicht van LLM’s, met uitleg over transformers, attention en tokenisatie. Modellen als GPT, BERT en T5 worden besproken, net als schaalwetten, trainingsdoelen en het verschil tussen pretraining en fine-tuning. Open source vs gesloten modellen komt ook aan bod.

Modelarchitecturen

Deelnemers leren over decoders, encoder-decoders en modellen zoals LLaMA en PaLM. Er wordt ingegaan op trainingspipelines, precisie (FP16, quant), en tools zoals Hugging Face en Deepspeed. LoRA, QLoRA en instructietuning worden geïntroduceerd.

LLMs Trainen

Deze module behandelt het voorbereiden van data en het fine-tunen van modellen. Onderwerpen zijn tokenizer setup, SFT, adapters, overfitting voorkomen en evaluatie. Benchmarking en alignment worden toegelicht met Hugging Face tools.

LLM Deployen

Deelnemers leren hoe LLMs in productie worden gebracht. Inference-optimalisatie, quantisatie, distillatie en cloudhosting komen aan bod. Ook wordt gekeken naar LangChain, vector stores, caching en kostenbeheersing bij schaalvergroting.

Veiligheid en Bias

Focus ligt op het herkennen en beperken van bias in modellen. Er is aandacht voor auditing, filtering, privacy, uitlegbaarheid, en juridische aspecten. Ook adversarial prompts, red teaming en ethiek worden behandeld.

Toepassingen van LLMs

De cursus sluit af met toepassingen in o.a. softwareontwikkeling, recht, zorg en onderwijs. Voorbeelden zijn RAG-systemen, AI-agents en plugins. Ook komen bedrijfsintegratie, modelvergelijking en onderzoekstrends aan bod.

Doelgroep cursus Large Language Models

De cursus Large Language Models is bedoeld voor ontwikkelaars, data scientists en technisch professionals die Large Language Models (LLMs) willen begrijpen en toepassen.

Voorkennis cursus Large Language Models

Voor deelname aan de cursus is basiskennis van Python en machine learning vereist. Bekendheid met neurale netwerken natural language processing is aanbevolen.

Realisatie training Large Language Models

De cursus wordt gegeven door deskundige trainer en bestaat uit een afwisseling van theorie en praktijk. Demonstraties en case studies met LLMs verduidelijken de leerstof.

Certificaat Large Language Models

Na succesvolle afronding van de cursus ontvangen deelnemers een certificaat van deelname aan Large Language Models.

Modules

Module 1: Intro to LLMs

• What are LLMs?
• Transformer architecture
• Training Objectives (causal, masked)
• Evolution of LLMs (GPT, BERT, T5)
• Open Source vs Proprietary LLMs
• Tokenization and Vocabulary
• Attention Mechanism
• Model Scaling Laws
• Transfer Learning
• Pretraining vs Fine-Tuning

Module 2: Model Architectures

• Decoder vs Encoder-Decoder Models
• GPT, LLaMA, T5, and PaLM
• Training Pipeline Overview
• Optimizers (Adam, Adafactor)
• Precision (FP32, FP16, quantization)
• Transformers (HF), Megatron, Deepspeed
• Parameter vs Instruction Suning
• LoRA and QLoRA
• In-context Learning
• Reinforcement Learning with HF

Module 3: Training LLMs

• Dataset Creation and Curation
• Tokenizer Customization
• Data Preprocessing
• Fine-Tuning with Hugging Face
• SFT (Supervised Fine-Tuning)
• Adapters and LoRA
• Evaluation Metrics
• Avoiding Overfitting
• Model Alignment
• Model Evaluation and Benchmarking

Module 4: LLM Deployment

• Inference Optimization
• Model Distillation
• Quantization Techniques
• Hosting on AWS, GCP, Azure
• Using Model Gateways
• LangChain and Semantic Search
• Vector Stores and Embeddings
• Caching Responses
• Load Balancing
• Cost Optimization Strategies

Module 5: Safety and Bias

• Understanding Model Biases
• Mitigation Strategies
• Model Auditing
• Adversarial Prompts
• User Privacy
• Filtering and Moderation
• Red Teaming
• Explainability in LLMs
• Interpreting Outputs
• Regulatory and Legal Issues

Module 6: LLM Use Cases

• Coding Assistants
• AI for Legal and Finance
• Education and Learning
• Health Care and Biotech
• Chatbots and Agents
• RAG Systems
• Tool Use and Plugins
• Enterprise Use of LLMs
• Evaluating New Models
• Future Directions LLM Research