🦙🤖 COMO ejecutar LLAMA3 en LOCAL y hacer que HABLE y ESCUCHE

Ғылым және технология

En este vídeo les muestro cómo ejecutar LLAMA 3-8B en local, también usamos Whisper para transcribir y pyttsx3 para producir voces.
Secciones
00:00 - Mensaje inicial de Llama -3
00:16 - Intro
01:01 - Cómo descargar Ollama
02:02 - Ejecutar el instalador
02:22 - Cómo correr Llama 3 con Ollama
03:15 - Usando OpenAI con Llama-3
07:40 - Overview del proyecto
10:45 - Colocándole README
13:09 - Ending
REPOSITORIO ➡️ github.com/Charlytoc/complete...
🟢 REDES SOCIALES
Linkedin ▶️ / charlytoc
Github ▶️ github.com/Charlytoc/
Si te gustó no olvides COMPARTIR, COMENTAR o darle un golpe al botón de LIKE.

Пікірлер: 40

  • @charlytoc132
    @charlytoc13219 күн бұрын

    Muchachos, por si quieren seguir viendo tutoriales, hace unos días subí uno de una app con IA hecha con FastAPI, React, y Groq, son generación súper rápida. Véanlo kzread.info/dash/bejne/gYCKtK1-f63Aj6g.htmlsi=Vu-8TpohIMdttCyD

  • @accipiter_nisus
    @accipiter_nisusАй бұрын

    Enhorabuena. Buena explicacion y precisa. Suerte y exito en tu canal

  • @charlytoc132

    @charlytoc132

    Ай бұрын

    ¡Muchas gracias por tu comentario! Poco a poco estoy intentando mejorar la calidad de los vídeos, no hago guiones así que a veces me equivoco en las palabras pero bueno, con la edición a veces corrijo. Qué bueno que te haya gustado.

  • @ggmtddbo
    @ggmtddbo2 күн бұрын

    Muy buen canal! Me suscribí 😊

  • @AlejandroGonzalez-px6qz
    @AlejandroGonzalez-px6qzАй бұрын

    Sos lo más grande que hay amigo. Impresionante y recomendable

  • @charlytoc132

    @charlytoc132

    Ай бұрын

    Muchísimas gracias por tu comentario, Alejandro, ¡me alegra que te haya parecido útil la información!

  • @ProgramarEsFacil
    @ProgramarEsFacilАй бұрын

    Excelente espero que tu canal crezca+++, excelente contenido

  • @charlytoc132

    @charlytoc132

    Ай бұрын

    Muchas gracias por tu comentario, cuando alguien comenta me anima a seguir haciendo vídeos

  • @martinVas-se6gs
    @martinVas-se6gs24 күн бұрын

    Excelente, gracias. Seria super crear uno para consultar información local de la empresa.

  • @charlytoc132

    @charlytoc132

    23 күн бұрын

    ¡Por supuesto! Si tu empresa tiene documentos y quieres aprovechar las capacidades de una IA usarlos, es ideal. Ahora, de las IAs que he probado, llama-3 8b NO es la mejor, es buena si tiene la información necesaria, pero tiende a alucinar y no siempre sigue al pie de la letra las instrucciones. Te recomendaría que vieras el último vídeo que subí, tiene un repo que te puede ser de mucha utilidad

  • @alexmaestre1056
    @alexmaestre1056Ай бұрын

    Le faltan tres ceros a tu número de suscriptores. Eres un crack.

  • @charlytoc132

    @charlytoc132

    Ай бұрын

    ¡En el futuro puede ser! Ahora estoy siendo más constante y eso trae sus frutos, ¡gracias por tu comentario! Espero que te siga gustando la información

  • @sp9368
    @sp9368Ай бұрын

    No entendí nada, pero buen vídeo bro!

  • @charlytoc132

    @charlytoc132

    Ай бұрын

    ¡Muchísimas gracias! Ya estaba casi desanimándome pero tres comentarios en un vídeo es para mí un gran logro. Ya voy a empezar a colocar: "Se vienen cosas" jajajaj, pero es la verdad, intentaré hacer cada vez cosas que me parezcan más interesantes para mostrarle a la gente, no importa si no entienden, lo importante es saber que estamos en una época de contínuos cambios a nivel tecnológico que son interesantes de apreciar. ¡Feliz día!

  • @sp9368

    @sp9368

    Ай бұрын

    @@charlytoc132 Todo lleva su proceso, no te desanimes si no ves muchos comentarios. Siempre sé fiel a lo que sea que te guste y desees compartir, las personas que sepan apreciar ese contenido y que tengan la misma pasión llegarán. Tal vez no haya entendido, pero estos vídeos siempre abren una puerta a la gente curiosa como yo y quién sabe, tal vez algún día podría dedicarme a esto. ¡Felíz día para ti también! Y mucha suerte con tu canal. Saludos.

  • @diegoserlini6798
    @diegoserlini6798Ай бұрын

    Muy buenos tus videos!!!. Como puedo hacer para crear un chat que lea datos de un archivo de Excel y responda sobre ese contenido?. Es posible descargar los modelos y agregarlos en mis proyectos?. Continua con tus videos y ayudando a los que estamos comenzando. Exitos!!!

  • @charlytoc132

    @charlytoc132

    Ай бұрын

    Ya tengo una app que es capaz de leer archivos y responder sobre ellos, te explico cómo hacerlo: Si lo haces con Python, ten en cuenta que es cuestión de usar librerías como csv para extraer el texto del archivo csv que puedes exportar de Excel, pasárselo al modelo en el mensaje del usuario y claro, adaptar el prompt según lo que deseas conseguir. Limitaciones: Ten en cuenta que los modelos actuales de IA no son buenos para matemáticas, así que el csv es un archivo útil si quieres usar la IA para análisis y entender de qué van los datos o quizás llenar espacios que faltan, pero no matemáticas. Y sí, también es posible descargar los modelos para usarlos en tus proyectos, con ollama puedes hacerlo, aunque yo te recomendaría no tenerlos en los mismo proyectos porque dependiendo de dónde lo tienes desplegado puede tener problemas de performance, lo modelos pequeños puedes correr en CPU, pero para modelos más grandes ya necesitas mayor capacidad de cómputo. En estos días voy a desplegar una instancia de Llama en Azure, cuando lo haga hago un vídeo de cómo lo hice. ¡Muchas gracias por tu comentario!

  • @diegoserlini6798

    @diegoserlini6798

    Ай бұрын

    @@charlytoc132 Muchas gracias por la respuesta, empecé a ver tus videos desde el principio y tienes una forma de explicar las cosas de manera muy simple. Podrias hacer un video mostrando como empezar con un proyecto simple, pero como lo harías de forma "profesional"?. Muchas gracias espero tus proximos videos!!

  • @charlytoc132

    @charlytoc132

    Ай бұрын

    Acabo de subir un vídeo hace rato de un repo con Chroma y Llama, además que tiene un pequeño script con internet aún en desarrollo, cuando esté listo subo un vídeo sobre eso. kzread.info/dash/bejne/qJ6Fo9qDZ7K8qNo.htmlsi=TF_6vYy41p97VWCS

  • @accipiter_nisus

    @accipiter_nisus

    Ай бұрын

    @@charlytoc132 Seria interesante ese video. El despliegue en azure es en servidor gratuito de pruebas o de pago? Lo haces sobre cpu solo, o se contrata gpu tambien?

  • @charlytoc132

    @charlytoc132

    Ай бұрын

    De hecho quiero hacer un vídeo en detalle sobre eso, los precios de Azure para máquina potentes me parecen exorbitantes y la verdad la interfaz es HORRIBLE, peor que Google Cloud, entonces estoy viendo cuál es la mejor alternativa para desplegar modelos grandes no tan grandes, y modelos muy grandes en el futuro.

  • @steventura6183
    @steventura6183Ай бұрын

    Es posible conectarlo a whastapp o telegram, ademas de que tenga historial o memoria de cada persona con la que hablas integrado con un prompt? . gracias

  • @charlytoc132

    @charlytoc132

    Ай бұрын

    Sí se podría, subí otro vídeo en el que le agrego Chroma y un pequeño servidor de Fastapi que se puede customizar para usar la API de Telegram (que es mucho más developer friendly que la de WhatsApp). Con respecto a la memoria, con pasar los últimos 4 mensajes suele ser suficiente, y si ya quieres una memoria más a largo plazo podría usar una base de datos vectorial y que se vayan pasando en como extra contexto en cada iteración

  • @ithanhunt3250
    @ithanhunt3250Ай бұрын

    *AHORA HACE UN VIDEO DE COMO CREAR IMAGENES CON STABLE DIFFUSION SIN USAR LA INTERFACE COMFYUI, OSEA DIRECTAMENTE DESDE LA LINEA DE COMANDOS, HACIENDO Q LAS IMAGENES GENERADAS LA GUARDE EN UNA CARPETA SIN MOSTRARLAS SOLO CREARLAS CON EL PROMPT Q UNO LE DE Y LISTO*

  • @charlytoc132

    @charlytoc132

    Ай бұрын

    Puedes usar la API de stable diffusion, es la forma más fácil, o intentar correrlo en local, un pequeño script de Python para recibir el input y listo

  • @markYs1686
    @markYs1686Ай бұрын

    hermano una consulta este modelo hay una forma de que se pueda conectar a internet ? osea por medo de una api mandarlo una pregunta y el modelo busque en internet y te muestre los datos resumidos ?

  • @charlytoc132

    @charlytoc132

    Ай бұрын

    ¡Claro que sí! Si este comentario llega a 5 likes, subo un tutorial de cómo modificarlo

  • @franyerrivas8728
    @franyerrivas872811 күн бұрын

    hay una forma de conectar llama 3 a internet o sea que trabaje con datos actuales ?

  • @charlytoc132

    @charlytoc132

    11 күн бұрын

    ¡Por supuesto! Hay muchas formas de hacerlo, podrías usar requests en Python, o podrías usar SerpAPI para obtener resultados de Google a una query

  • @angellafraga
    @angellafragaАй бұрын

    El video está genial, pero tengo una pregunta, en caso de que ya no quiero tenerlo en local, como le hago para desinstalar el modelo?

  • @charlytoc132

    @charlytoc132

    Ай бұрын

    Desinstalar el modelo es igual de fácil, ¿le gustaría ver un tutorial de cómo hacerlo?

  • @ithanhunt3250
    @ithanhunt3250Ай бұрын

    *NO SE NESECITA **#TARGETA** DE VIDEO EXTERNA PARA CORRER LLAMA NI OLLAMA, YO TENGO CORRIENDO EN MI PC, CON TARGETA DE VIDEO INTERNA OSEA CON SOLO CPU LO ESTOY CORRIENDO, Y TENGO EL MODELO PHI3 Y LLAMA 3 Q SON LOS MEJORES ACTUALMENTE Y FUNCIONAN REGULARMENTE NO RAPIDO PERO FUNCIONAN Y SOLO TENGO 4GB DE MEMORIA RAM*

  • @charlytoc132

    @charlytoc132

    Ай бұрын

    Realmente los modelos pequeños corren bastante bien en CPU, tan solo necesitas más poder si vas a usar modelos muy grandes

  • @pepugughd4553

    @pepugughd4553

    Ай бұрын

    Lama 3 funciona incluso en Android usando lama cpp en termux.

  • @charlytoc132
    @charlytoc132Ай бұрын

  • @charlytoc132

    @charlytoc132

    Ай бұрын

    Listo.

  • @jackgaleras
    @jackgalerasАй бұрын

    LM STUDIO? GPT4ALL

  • @charlytoc132

    @charlytoc132

    Ай бұрын

    Para allá vamos, hay que analizar cuáles son los mejores

  • @CesarFernando6363
    @CesarFernando6363Ай бұрын

    Muy complicado, un ejemplo y deja de dar tantas vueltas ..malo

  • @accipiter_nisus

    @accipiter_nisus

    Ай бұрын

    Hay temas y videos que el problema no es del que transmite que lo hace con esfuerzo. Valoralo. Esfuerzate. Tal vez no eres la persona adecuada para verlo.

Келесі