La pregunta no es si una IA puede leer un texto. La pregunta es si puede sostener una presencia.
En FreakingJSON Studio nos gusta cuando una idea no se queda en teoría. Esta vez el planteamiento es incómodo a propósito: ¿se puede recrear una persona con IA local? No en el sentido barato de “hazme un deepfake”, sino como una exploración editorial y técnica de algo más interesante: cómo reconstruir una presencia humana a partir de capas que sí podemos controlar.
La conversación empieza con voz, porque la voz es el primer espejo. Sigue con imagen, porque el rostro o el personaje visual sostienen la ilusión. Después entra el vídeo, que aporta ritmo, continuidad y respiración. Y por último aparece la edición, que es donde todo se salva o se rompe. Si una de esas capas falla, la presencia desaparece aunque el modelo sea potente.
Este post no trata de suplantar a nadie. Trata de entender qué partes de una presencia ya pueden ser sintetizadas con criterio, usando herramientas locales, workflows propios y una línea ética clara. En otras palabras: no estamos persiguiendo una copia perfecta; estamos midiendo cuánto de una presencia humana ya puede convertirse en materia creativa local.
Qué significa realmente “recrear” una persona
Una persona no es una sola cosa. Es una suma de señales: timbre, acento, pausas, mirada, postura, forma de moverse, modo de encadenar ideas, ritmo al hablar y hasta la manera de ocupar el silencio. Cuando uno empieza a producir con IA local, lo más fácil es obsesionarse con una sola parte. Lo difícil —y lo interesante— es pensar en el sistema completo.
Por eso en FreakingJSON Studio preferimos hablar de presencia antes que de copia. Una presencia sintética puede acercarse a la sensación de alguien sin intentar engañar a nadie. Esa diferencia importa. Mucho.
| Capa | Qué aporta | Qué rompe la ilusión |
|---|---|---|
| Voz | Tono, intención, respiración, acento | Pronunciación errónea o emoción plana |
| Imagen | Rostro, luz, textura, estilo | Detalles raros, inconsistencias, manos/ojos extraños |
| Vídeo | Ritmo, continuidad, foco, movimiento | Planos que parecen slide deck o demo sin alma |
| Edición | Selección, pausa, corte, montaje | Exceso de elementos o falta de criterio narrativo |
| Ética | Consentimiento, contexto, transparencia | Imitación engañosa o uso sin permiso |
La conclusión temprana es simple: el modelo no recrea una persona por sí solo. Lo que recrea una presencia es la combinación entre modelo, dirección, edición y criterio. El sistema importa más que el botón.
La voz: el primer espejo
La voz es donde el proyecto se pone serio de verdad. Puedes tener una imagen muy sólida, pero si la voz suena ajena, la ilusión cae en segundos. En nuestras pruebas internas aprendimos algo muy concreto: un TTS que “suena bien” no siempre suena bien para una persona específica. El idioma, el acento, la velocidad, las pausas y la respiración pesan más de lo que parece.
Primero llegas a “lee texto”. Después quieres “lee con intención”. Luego subes la apuesta a “suena como alguien”. Y ahí es donde empiezan a importar las diferencias entre alternativas open source.
Chatterbox: cuando la voz necesita carácter
Chatterbox nos interesa porque se mueve en esa zona donde la voz deja de ser solo lectura. En la práctica, lo valioso no es únicamente que sea open source; lo valioso es que apunta a una voz con más control expresivo, capacidad de clonación de voz a partir de muestras cortas y una salida que puede sostener mejor la idea de identidad vocal.
Para un planteamiento como este, eso importa muchísimo. Si queremos explorar la frontera entre “narración sintética” y “presencia reconocible”, necesitamos una herramienta que no se quede en la mecánica de pronunciar palabras. Necesitamos algo que aguante emoción, intención y matiz.
Pero incluso ahí hay una regla dura: si el idioma o el acento no encajan, la magia se cae. Una voz técnicamente correcta pero con la musicalidad equivocada destruye la pieza editorial. Lo que funciona para un demo puede arruinar una narrativa real.
Kokoro: cuando lo pequeño sí sirve
Kokoro juega en otra liga. No pretende ser el martillo más pesado; pretende ser útil, ligero y práctico. Para drafts rápidos, pruebas de pacing, iteraciones tempranas o piezas donde el contenido importa más que la identidad vocal, Kokoro puede ser suficiente y hasta preferible.
Ese contraste es clave para el artículo: no todas las capas necesitan el modelo más grande. A veces el valor real está en escoger una herramienta más liviana que te permita avanzar, escuchar, corregir y decidir rápido. Si Chatterbox es la voz que te permite perseguir una presencia, Kokoro es la voz que te deja prototipar sin fricción.
| Herramienta | Mejor para | Cuándo la usaríamos |
|---|---|---|
| Chatterbox | Más carácter, identidad vocal, control expresivo | Cuando la voz es parte central de la pieza |
| Kokoro | Ligereza, drafts, velocidad y prototipado | Cuando queremos iterar rápido o validar una idea |
La experiencia que nos deja esta parte es directa: el texto a voz ya no se trata de “convertir un párrafo en audio”. Se trata de construir una voz que no rompa la pieza. Y eso incluye anécdotas, silencios, respiración y ritmo. Un narrador sintético que no respeta la pausa correcta puede sonar perfectamente legible y, al mismo tiempo, completamente muerto.
Imagen y vídeo: la ilusión no vive sola
La voz sola no basta. La imagen sola tampoco. El vídeo es la prueba de fuego porque obliga a que el personaje o presencia sostenga una continuidad temporal. Un rostro generado puede parecer impresionante en una captura; en vídeo se descubren enseguida las costuras: microinconsistencias, plano vacío, ritmo de montaje pobre, transición sin intención o una estética que parece un render aislado en lugar de una pieza audiovisual.
Por eso este post no está centrado solo en TTS. Lo que nos interesa es la cadena completa: texto, voz, imagen, movimiento, edición y QA. Si una capa no está alineada con las demás, el conjunto se siente falso aunque cada parte por separado parezca fuerte.
En FreakingJSON Studio hemos aprendido que la edición es el lugar donde la presencia se afina o se destruye. Una escena puede tener una imagen fantástica, pero si el corte llega tarde, la voz entra mal o el movimiento no respira, la pieza se lee como demo. Y si algo aprendimos es que no queremos demos bonitas: queremos piezas que aguanten publicación.
ComfyUI como mesa de montaje
Si quieres revisar la base abierta del entorno, el repo oficial es Comfy-Org/ComfyUI. También conviene mirar Chatterbox y Kokoro cuando la capa de voz entra al workflow.
ComfyUI nos interesa porque convierte la generación en un grafo visible. No es solo una interfaz; es una manera de pensar el proceso. En vez de esconderlo todo detrás de un prompt, te obliga a ver nodos, dependencias, entradas, salidas y condiciones. Eso para un proyecto como este es oro, porque la pregunta no es “¿puede generar algo bonito?”, sino “¿puede ser reproducible, ajustable y entendible?”
Si queremos recrear presencia con IA local, ComfyUI funciona como mesa de montaje: ahí se conectan modelos, ajustes, imágenes, controladores, scripts y recursos locales. Ahí es donde la experimentación deja de ser un accidente y empieza a convertirse en sistema.
La clave es que no usamos los workflows de la comunidad como dogma. Los usamos como punto de partida. Cualquier workflow que venga de AcademiaSD, de otros youtubers o de una mina de oro técnica se trata como materia prima: se desmonta, se entiende y se vuelve a montar para que responda a nuestras condiciones locales.
Eso significa tres cosas:
- Reproducibilidad. Guardar versiones, nodos y parámetros para no depender de memoria.
- Adaptación local. Reemplazar piezas externas por modelos, rutas y scripts propios cuando sea posible.
- QA visible. Si el workflow produce un resultado raro, queremos saber exactamente en qué nodo apareció el problema.
ComfyUI, en ese sentido, no recrea personas. Lo que hace es ofrecer el lenguaje visual para construir el sistema que sí puede acercarse a una presencia. Es la mesa de trabajo, no el milagro.
De las minas de oro a workflows propios
La parte más valiosa de todo este proceso no es copiar lo que ya existe. Es extraer principios. Una mina de oro no se copia como un archivo ZIP; se estudia como si fuera un mapa. ¿Qué problema resuelve? ¿Qué dependencia usa? ¿Qué parte del flujo es esencial y cuál es ruido? ¿Qué podríamos hacer mejor con nuestros recursos locales?
Ahí entra la mentalidad FJSON: tomar workflows de AcademiaSD y de otros creadores, extraer el patrón, adaptarlo y reconstruir nuestro propio pipeline con scripts, manifests, recursos locales y decisiones editoriales nuestras. El resultado no es “una copia”. Es una derivación con criterio.
Ese criterio también evita un error muy común: confundir un workflow vistoso con un workflow útil. Hay muchas demos que se ven espectaculares y que, al intentar repetirlas, se rompen o dependen de piezas que no encajan en nuestro entorno. La pregunta correcta no es “¿se ve bien?”, sino “¿lo puedo sostener, versionar y volver a ejecutar mañana?”
En FreakingJSON Studio preferimos esa segunda pregunta. Porque si algo no puede repetirse, no es un sistema. Es suerte.
La línea ética: recrear no es suplantar
Este punto no es opcional. Si hablamos de recrear una persona, el límite ético tiene que ir al principio del proyecto, no al final. No queremos construir herramientas para engañar. Queremos construir herramientas para explorar presencia sintética, narración, personaje, prototipo y experiencia visual con consentimiento y transparencia.
La regla es simple:
- si no hay consentimiento, no hay recreación de voz;
- si el personaje es ficticio, lo decimos;
- si hay material de terceros, se respeta su contexto y uso;
- si una pieza puede confundirse con una suplantación, no se publica así;
- si una versión cambia, se documenta.
Esto no mata la creatividad. La ordena. Y, paradójicamente, cuanto más clara es la ética, más libre se vuelve la experimentación.
Checklist para intentar algo así en local
- Define qué quieres recrear: voz, presencia, personaje o atmósfera.
- Aclara si existe consentimiento o si se trata de ficción declarada.
- Empieza por la voz: Chatterbox si quieres carácter; Kokoro si quieres velocidad.
- Construye la parte visual con capas coherentes: luz, encuadre, textura y estilo.
- Usa ComfyUI como grafo reproducible, no como una caja negra.
- Adapta workflows de la comunidad a tu hardware y tus scripts.
- Registra versiones, seeds, entradas y salidas.
- Haz QA de audio, imagen y vídeo por separado y luego en conjunto.
- Si una capa rompe la ilusión, vuelve a la capa y corrígela.
- No publiques nada que parezca suplantación o engaño.
Preguntas frecuentes
¿Se puede hacer todo esto solo con IA local?
Sí, con matices. No siempre tendrás el mejor modelo del mundo, pero sí puedes tener control, repetibilidad y una cadena de trabajo que no dependa de servicios externos para cada iteración.
¿Chatterbox reemplaza a Kokoro?
No. Cumplen funciones distintas. Chatterbox nos parece más interesante cuando la voz necesita identidad. Kokoro brilla cuando hace falta ligereza y velocidad.
¿ComfyUI es obligatorio?
No, pero para nosotros tiene una ventaja enorme: hace visible el proceso. Y cuando el proceso es visible, es mucho más fácil mejorarlo, documentarlo y convertirlo en workflow propio.
¿Esto es un tutorial de deepfake?
No. Es un planteamiento editorial y técnico sobre presencia sintética con ética, contexto y consentimiento. La diferencia importa, y mucho.
Conclusión: el sistema importa más que el truco
Si algo nos queda claro después de explorar texto a voz, recreación de voz, imagen, vídeo y ComfyUI, es esto: la persona no se recrea con un modelo aislado; se recrea con una cadena de decisiones. El modelo aporta capacidad. La edición aporta criterio. El workflow aporta repetibilidad. Y la ética pone el borde correcto.
En FreakingJSON Studio nos interesa precisamente esa intersección: lo que ya podemos hacer localmente, lo que todavía necesita paciencia y lo que solo funciona cuando alguien con criterio decide qué se queda y qué se descarta. Ahí es donde un experimento deja de ser prueba y empieza a parecer producción.
No estamos intentando reemplazar a nadie. Estamos intentando entender qué partes de una presencia humana ya pueden convertirse en materia creativa local, sin perder verdad, control ni respeto.
El conocimiento verdadero trasciende a lo público 🌀
¿Quieres seguir la línea de investigación? Continúa con artículos relacionados y guarda esta lectura para volver después.
Ver relacionados
