Prototipo de Chat con Modelo Local
Panorama del Proyecto Ejecuta experimentos de IA conversacional directamente en tu portátil. Este prototipo combina un pipeline de Hugging Face con salvaguardas sensibles a la GPU para iterar sin depender de servicios alojados. Contexto de Negocio Pensado para laboratorios y equipos sensibles al cumplimiento que necesitan validar chatbots sin enviar datos a la nube de terceros. Ofrece un punto de partida reproducible para incorporar colaboradores que trabajan en Linux, macOS y Windows. Capacidades Clave Inferencia local con BlenderBot impulsada por el checkpoint facebook/blenderbot-400M-distill mediante el pipeline text-to-text de transformers. Paridad notebook/script gracias al par sincronizado con Jupytext (basic_chat.ipynb ⇄ basic_chat.py), evitando desalineaciones entre IDE y navegador. Inicio amigable con GPU que configura PYTORCH_CUDA_ALLOC_CONF y limpia cachés CUDA para ajustar modelos en tarjetas de 2 GB, manteniendo la opción de ejecutar en CPU. Diagnósticos de entorno a través de gpu_ts.py y pt-cuda-ts, confirmando la disponibilidad de PyTorch/CUDA antes de reservar grandes tensores. Reproducibilidad con conda-lock mediante environment.yml, archivos bloque multi-plataforma y tareas de Makefile (make expenv, make updenv) que mantienen las dependencias alineadas. Notas de Implementación Incluye pasos concisos para instalar la versión adecuada de PyTorch, transformers, accelerate y sentencepiece. Promueve la gestión cuidadosa de VRAM mostrando cómo ajustar precisión o mapas de dispositivo dentro del pipeline. Licencia MIT y estructura pensada para intercambiar checkpoints más grandes o envolver la demo con interfaces tipo Gradio o Streamlit. Mi Rol Empaqueté el flujo del notebook, escribí los chequeos de salud de GPU y automaticé el bloqueo de dependencias para que el prototipado de LLM locales sea confiable para el equipo. ...