Grandes modelos de lenguaje

1. Temario

1. Modelos secuenciales tipo LSTM
2. Aplicaciones de modelos secuenciales en PLN
3. El mecanismo de atención
4. Transformadores: arquitectura básica y tokenizador
5. Ajuste fino a modelos preentrenados
6. Grandes modelos de lenguaje (LLM)
7. prompt engineering y langchain para uso de LLM
8. Ajuste fino de LLM con PERF

2. Actividades de aprendizaje

2.1. Realizar las libretas siguientes:

1. Una RNN a pie, solo para entender la arquitectura

2. El problema del desvanecimiento del gradiente

3. Análisis de sentimiento con LSTM

4. El mecanismo de atención a pie, solo para entender

5. Modelo seq-to-seq con LSTM y mecanismo de atención de los ejemplos de uso de la documentación de Tensor Flow

6. Modelo seq-to-seq con transformadores, haciendo los transformadores mas o menos a pie de la guías de ejemplos de la documentación de Keras

7. Clasificación de textos con transformers. Modificación de esta libreta que ya no funciona, del curso Curso NLP de 0 a 100 de la Sesión 4: Transformers y Aprendizaje por Transferencia

Subir en forma individual las libretas resueltas (o ejecutadas, algunas son solo para ejecutar y ver como funciona) en un repositorio de GitHub.

2.2. Realizar los siguientes cursos cortos de una hora cada uno (entregan diploma)

1. ChatGPT Prompt Engineering for Developers, o Prompt Engineering with Llama 2 & 3, o Getting Started with Mistral

2. LangChain for LLM Application Development

3. LangChain: Chat with Your Data

4. Functions, Tools and Agents with LangChain

5. Vector Databases: from Embeddings to Applications

6. Building and Evaluating Advanced RAG Applications

7. Red Teaming LLM Applications

3. Material para el aprendizaje

3.1. Presentaciones

• Introducción a los modelos secuenciales y celdas LSTM

• Embeddings from Language Models (ELMo)

• El mecanismo de atención y traductores con LSTM

• El modelo de transformadores

• Transfer learning y modelos preentrenados

• Tareas con secuencias largas

3.2 Explicaciones gráficas

• The Unreasonable Effectiveness of Recurrent Neural Networks (Karpathy, 2015)

• Recurrent Neural Networks cheatsheet (Amidi y Amidi, 2019)

• Using Triplet Loss and Siamese Neural Networks to Train Catalog Item Embeddings (Ramachandran, 2021)

• The Illustrated Transformer (Alammar, 2018)

• BERT 101 🤗 State Of The Art NLP Model Explained (Muller, 2022)

• A Visual Guide to Using BERT for the First Time (Alammar, 2019)

• The Illustrated GPT-2 (Visualizing Transformer Language Models) (Alammar, 2019)

• How GPT3 Works - Visualizations and Animations (Alammar, 2020)

• Recent Advances in Language Model Fine-tuning (Ruder, 2021)

• Understanding Locality Sensitive Hashing(LSH): A Powerful Technique for Similarity Search (Joshi, 2023)

• LSH Algorithm and Implementation (E2LSH)

• Intro to Large Language Models (Karpathy, 2023, youtube)

• LMM Visualization (Bycroft, 2023)

3.3 Artículos seminales

• Long Short-Term Memory (Hochreiter y Schmidhuber, 1997)

• Understanding LSTM – a tutorial into Long Short-Term Memory Recurrent Neural Networks (Staudemeyer y Morris, 2019)

• Neural Machine Translation by Jointly Learning to Align and Translate (Bhadanau et al, 2014)

• Attention Is All You Need (Vaswani et al, 2017)

• Deep contextualized word representations (Peters et al, 2018)

• BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (Devlin et al, 2018)

• Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer (Raffel et al, 2019)

• Reformer: The Efficient Transformer (Kitaev et al, 2020)

• Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity (Fedus et al, 2022)

3.4. Sitios y herramientas interesantes

• La de base si estás en tensorflow: Keras

• Para NLP, está Keras NLP, la cual es una librería que funciona en forma nativa con Tensorflow, JAX y/o pyTorch. En general ayuda a establecer un flujo de trabajo tanto de entrenamiento como de puesta en producción de procesos de NLP. Muy pensada para el uso y ajuste fino de modelos preentrenados.

• Si estás haciendo PLN con modelos profundos, no es posible vivir sin conocer a fondo Hugging Face. Es una compañía que mantiene un entorno de desarrollo abierto, una colección de modelos preentrenados, y una librería (la librería de transformadores mñas importante al momento), así como facilidades para poner los modelos en producción.

• Para recursos específicos en español, Hugging Face mantiene una rama en los países que hablamos español, Somos NLP. Muy recomendable. Incluye una bolsa de trabajo (muy centrada en España por el momento, pero que esperamos crezca).

• La Sociedad Española para el Procesamiento del Lenguage Natural (SEPLN) es una de las organizaciones científicas en el área de informñatica más antiguas de España, y mantiene una revista desde 1983. Información interesante, acceso gratuito a la revista, congresos, hackatones. Todo muy español, pero con muchos lazos en Latinoamñerica y en espacial con México.

• LagChain: Get your LLM application from prototype to production, su documentación y si repositorio de GitHub

3.5. Filosofía, sociedad, implicaciones éticas y sociales

• Language models and linguistic theories beyond words

• GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models

• Yann LeCun and Andrew Ng: Why the 6-month AI Pause is a Bad Idea (Video)

• Consideraciones éticas del uso de LLM en medicina:
  • Attention is not all you need: the complicated case of ethically using large language models in healthcare and medicine
  • Ethics of large language models in medicine and medical research

• Generative Conversational AI And Academic Integrity: A Mixed Method Investigation To Understand The Ethical Use of LLM Chatbots In Higher Education

• Student Use Cases for AI: Start by Sharing These Guidelines with Your Class