Panorama del Proyecto

Ejecuta experimentos de IA conversacional directamente en tu portátil. Este prototipo combina un pipeline de Hugging Face con salvaguardas sensibles a la GPU para iterar sin depender de servicios alojados.

Contexto de Negocio

  • Pensado para laboratorios y equipos sensibles al cumplimiento que necesitan validar chatbots sin enviar datos a la nube de terceros.
  • Ofrece un punto de partida reproducible para incorporar colaboradores que trabajan en Linux, macOS y Windows.

Capacidades Clave

  • Inferencia local con BlenderBot impulsada por el checkpoint facebook/blenderbot-400M-distill mediante el pipeline text-to-text de transformers.
  • Paridad notebook/script gracias al par sincronizado con Jupytext (basic_chat.ipynb ⇄ basic_chat.py), evitando desalineaciones entre IDE y navegador.
  • Inicio amigable con GPU que configura PYTORCH_CUDA_ALLOC_CONF y limpia cachés CUDA para ajustar modelos en tarjetas de 2 GB, manteniendo la opción de ejecutar en CPU.
  • Diagnósticos de entorno a través de gpu_ts.py y pt-cuda-ts, confirmando la disponibilidad de PyTorch/CUDA antes de reservar grandes tensores.
  • Reproducibilidad con conda-lock mediante environment.yml, archivos bloque multi-plataforma y tareas de Makefile (make expenv, make updenv) que mantienen las dependencias alineadas.

Notas de Implementación

  • Incluye pasos concisos para instalar la versión adecuada de PyTorch, transformers, accelerate y sentencepiece.
  • Promueve la gestión cuidadosa de VRAM mostrando cómo ajustar precisión o mapas de dispositivo dentro del pipeline.
  • Licencia MIT y estructura pensada para intercambiar checkpoints más grandes o envolver la demo con interfaces tipo Gradio o Streamlit.

Mi Rol

Empaqueté el flujo del notebook, escribí los chequeos de salud de GPU y automaticé el bloqueo de dependencias para que el prototipado de LLM locales sea confiable para el equipo.

Stack Tecnológico

Python 3.9 · PyTorch · Transformers · Jupyter/Jupytext · Conda · CUDA

Explora el Código