Implement Generative AI engineering with Azure Databricks (DP-3028)

Over de Generative AI Databricks (DP-3028)

De training Implement Generative AI engineering with Azure Databricks (DP-3028) is gericht op generative AI engineering binnen Azure Databricks. In de DP-3028 training zul je ontdekken hoe jij met Spark geavanceerde taalmodellen kunt verkennen, verfijnen, evalueren en integreren binnen echte toepassingen. Je duikt diep in de principes achter actuele AI-oplossingen en leert hoe jij krachtige technieken als retrieval-augmented generation (RAG) en multi-stage reasoning in kunt zetten om betere en betrouwbaardere resultaten te behalen met Large Language Models (LLM's).

Verder zul je in de training Implement Generative AI engineering with Azure Databricks (DP-3028) praktisch oefenen met het afstemmen van taalmodellen voor specifieke toepassingsscenario's en leer je hoe jij de prestaties van deze modellen kunt beoordelen en verbeteren. Daarbij is er in de DP-3028 training veel aandacht voor praktische inzichten, zodat je niet alleen begrijpt hoe generatieve AI werkt, maar ook hoe jij GenAI daadwerkelijk toe kunt passen binnen jouw organisatie of projecten. Bovendien wordt er in de DP-3028 training het beheren en uitrollen van modellen binnen productieomgevingen met behulp van LLMOps (Large Language Model Operations) op Azure Databricks behandeld, een essentieel onderdeel voor iedereen die AI-oplossingen op schaal in wil zetten.

Tevens zal er tijdens de training Implement Generative AI engineering with Azure Databricks (DP-3028) aandacht worden besteed aan responsible AI. Je ontdekt bijvoorbeeld hoe jij AI-oplossingen op een verantwoorde manier kunt ontwikkelen en inzetten, met oog voor betrouwbaarheid, transparantie en naleving.

Voor wie is de DP-3028?

De training Implement Generative AI engineering with Azure Databricks (DP-3028) is ontwikkeld voor ICT-professionals die generatieve AI-toepassingen die door middel van Azure Databricks willen ontwikkelen en hun technische kennis verder willen verdiepen.

De training Implement Generative AI engineering with Azure Databricks (DP-3028) is met name geschikt voor de volgende mensen:

• Data scientists (datawetenschappers) die generatieve AI toe willen passen binnen data-analyse en modelontwikkeling.
• Machine learning engineers die taalmodellen willen integreren en beheren binnen productieomgevingen.
• AI-specialisten en AI engineers die werken aan geavanceerde AI-oplossingen op Azure Databricks.
• Data- en AI-professionals met basiskennis van AI-principes en praktijkervaring met Azure Databricks.

Leerdoelen van de DP-3028

De training Implement Generative AI engineering with Azure Databricks (DP-3028) is gericht op het ontwerpen, ontwikkelen en beheren van generatieve AI-oplossingen met Azure Databricks, waarbij je werkt met geavanceerde taalmodellen, Spark en AI-technieken, zoals RAG en LLMOps (Large Language Model Operations).

Door de training Implement Generative AI engineering with Azure Databricks (DP-3028) te volgen, zul je de volgende dingen leren:

• Inzicht verkrijgen in generative AI en de werking van grote taalmodellen binnen Azure Databricks.
• Grote taalmodellen toepassen voor Natural Language Processing-taken zoals samenvatting, classificatie en analyse.
• Retrieval Augmented Generation (RAG) ontwerpen en implementeren met behulp van vectorzoekopdrachten.
• Complexe problemen oplossen door redenering in meerdere fasen toe te passen met frameworks zoals LangChain.
• Taalmodellen afstemmen op specifieke taken door gegevens voor te bereiden en modellen te verfijnen.
• De prestaties van large language models evalueren met metrische gegevens en geautomatiseerde evaluatiemethoden.
• Verantwoordelijke AI-principes toepassen bij het ontwikkelen en uitrollen van AI-oplossingen.
• Beveiligingsmaatregelen implementeren om risico’s bij het gebruik van taalmodellen te beperken.
• Large language models beheren en uitrollen in productieomgevingen met behulp van LLMOps en Azure Databricks.

Aanbevolen voorkennis DP-3028

Voordat je deelneemt aan de training Implement Generative AI engineering with Azure Databricks (DP-3028), dien je bekend te zijn met de basisprincipes van Azure Databricks.

Je zou bijvoorbeeld kunnen overwegen om de training Microsoft Azure AI Fundamentals (AI-900) en de training Implementing a Data Analytics Solution with Azure Databricks (DP-3011) of de training Implementing a Machine Learning solution with Azure Databricks (DP-3014) te gaan volgen.

Onderwerpen van de DP-3028

In de onderstaande lijst vind je alle kernonderwerpen die tijdens de training Implement Generative AI engineering with Azure Databricks (DP-3028) aan bod komen. De DP-3028 training is speciaal ontwikkeld om jou de benodigde inzichten te bieden zijn voor het ontwerpen, ontwikkelen en beheren van generatieve AI-oplossingen met Azure Databricks. Tijdens de DP-3028 training leer je hoe jij geavanceerde taalmodellen effectief in kunt zetten, afstemmen en beheren met behulp van Spark, Azure Databricks en technieken als RAG en LLMOps, zodat je AI-oplossingen betrouwbaar en schaalbaar in kunt zetten.

DP-3028 | Module 1: Aan de slag met taalmodellen in Azure Databricks

Grote taalmodellen (LLM's) hebben een revolutie teweeggebracht in verschillende branches door geavanceerde mogelijkheden voor natuurlijke taalverwerking (NLP) mogelijk te maken. Deze taalmodellen worden gebruikt in een breed scala aan toepassingen, waaronder tekstsamenvatting, sentimentanalyse, taalomzetting, classificatie van nul-shots en weinig-shot learning.

Overzicht:

• Inzicht in Generatieve AI.
• Informatie over grote taalmodellen (LLM's).
• Belangrijke onderdelen van LLM-toepassingen identificeren.
• LLM's gebruiken voor NLP-taken (Natural Language Processing).
• Oefening: taalmodellen verkennen.

DP-3028 | Module 2: Rag (Retrieval Augmented Generation) implementeren met Azure Databricks

Het ophalen van Augmented Generation (RAG) is een geavanceerde techniek in natuurlijke taalverwerking die de mogelijkheden van generatieve modellen verbetert door externe mechanismen voor het ophalen van gegevens te integreren. Wanneer je zowel generatieve modellen als systemen voor ophalen gebruikt, haalt RAG dynamisch relevante informatie op uit externe gegevensbronnen om het generatieproces te verbeteren, wat leidt tot nauwkeurigere en contextuele relevante uitvoer.

Overzicht:

• De belangrijkste principes van een RAG-werkstroom verkennen.
• Jouw gegevens voorbereiden voor RAG.
• Relevante gegevens zoeken met vectorzoekopdrachten.
• De opgehaalde resultaten opnieuw rangverrankeren.
• Oefening: RAG instellen.

DP-3028 | Module 3: Redenering in meerdere fasen implementeren in Azure Databricks

Redeneringssystemen met meerdere fasen splitsen complexe problemen op in meerdere fasen of stappen, waarbij elke fase gericht is op een specifieke redeneringstaak. De uitvoer van één fase fungeert als invoer voor de volgende fase, waardoor een meer gestructureerde en systematische benadering van probleemoplossing mogelijk is.

Overzicht:

• Wat zijn redeneringssystemen met meerdere fasen?
• LangChain verkennen.
• LlamaIndex verkennen.
• Haystack verkennen.
• Het DSPy-framework verkennen.
• Oefening: redenering met meerdere fasen implementeren met LangChain.

DP-3028 | Module 4: Taalmodellen verfijnen met Azure Databricks

Voor het afstemmen wordt algemene kennis van grote taalmodellen (LLM's) gebruikt om de prestaties van specifieke taken te verbeteren, zodat organisaties gespecialiseerde modellen kunnen maken die nauwkeuriger en relevanter zijn en tegelijkertijd resources en tijd besparen in vergelijking met een volledig nieuwe training.

Overzicht:

• Wat is fine-tuning?
• Jouw gegevens voorbereiden voor het afstemmen.
• Een Azure OpenAI-model verfijnen.
• Oefening: een Azure OpenAI-model verfijnen.

DP-3028 | Module 5: Taalmodellen evalueren met Azure Databricks

In de vijfde module verken je de evaluatie van large language model met behulp van verschillende metrische gegevens en benaderingen. Verder leer je meer over evaluatieuitdagingen, de beste werkwijzen en ontdek je geautomatiseerde evaluatietechnieken, waaronder LLM-as-a-judge-methoden.

Overzicht:

• LLM-evaluatie verkennen.
• Evalueren van LLMs en AI-systemen.
• LLM's evalueren met metrische standaardgegevens.
• Beschrijf LLM-als-rechter voor de evaluatie.
• Oefening: Een Azure OpenAI-model evalueren.

DP-3028 | Module 6: Verantwoordelijke AI-principes voor taalmodellen in Azure Databricks bekijken

Wanneer je met LLM's (Large Language Models) in Azure Databricks werkt, is het belangrijk om inzicht te krijgen in de verantwoordelijke AI-principes voor implementatie, ethische overwegingen en het beperken van risico's. Op basis van geïdentificeerde risico's leer je hoe jij belangrijke beveiligingshulpprogramma's voor taalmodellen kunt implementeren.

Overzicht:

• Wat is verantwoordelijke AI?.
• Risico's identificeren.
• Problemen oplossen.
• Belangrijke beveiligingshulpprogramma's gebruiken om uw AI-systemen te beveiligen.
• Oefening: verantwoorde AI implementeren.
• Evaluatie van de module.

DP-3028 | Module 7: LLMOps implementeren in Azure Databricks

Stroomlijn de implementatie van LARGE Language Models (LLM's) met LLMOps (LLM Operations) in Azure Databricks. Meer informatie over het implementeren en beheren van LLM's gedurende hun levenscyclus met behulp van Azure Databricks.

Overzicht:

• Overstappen van traditionele MLOps naar LLMOps.
• Modelimplementaties begrijpen.
• Mogelijkheden voor MLflow-implementatie beschrijven.
• Unity Catalog gebruiken om modellen te beheren.
• Oefening: LLMOps implementeren.