Initial commit
This commit is contained in:
renato97
7
.gitattributes
vendored
Normal file
7
.gitattributes
vendored
Normal file
@@ -0,0 +1,7 @@
|
|||||||
|
*.mp3 filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.m4a filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.pdf filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.blob filter=lfs diff=lfs merge=lfs -text
|
||||||
|
pdf_test/imperio5.pdf !text !filter !merge !diff
|
||||||
|
pdf_test/imperio5_ocr.pdf !text !filter !merge !diff
|
||||||
|
downloads/* !text !filter !merge !diff
|
||||||
71
.gitignore
vendored
Executable file
71
.gitignore
vendored
Executable file
@@ -0,0 +1,71 @@
|
|||||||
|
# Local environment files
|
||||||
|
.env
|
||||||
|
|
||||||
|
# Python cache
|
||||||
|
__pycache__/
|
||||||
|
*.pyc
|
||||||
|
.venv/
|
||||||
|
|
||||||
|
# Application-generated data
|
||||||
|
downloads/
|
||||||
|
resumenes/
|
||||||
|
resumenes_docx/
|
||||||
|
processed_files.txt
|
||||||
|
*_unificado.docx
|
||||||
|
resumen_*.md
|
||||||
|
downloads/**/*.md
|
||||||
|
downloads/**/*.docx
|
||||||
|
resumenes_docx/**/*.docx
|
||||||
|
resumenes_docx/**/*.md
|
||||||
|
resumenes/**/*.md
|
||||||
|
resumenes/**/*.docx
|
||||||
|
|
||||||
|
# Ollama data
|
||||||
|
ollama_data/
|
||||||
|
ollama_data/models/blobs/
|
||||||
|
|
||||||
|
# Node.js
|
||||||
|
.npm/
|
||||||
|
|
||||||
|
# Logs
|
||||||
|
logs/
|
||||||
|
*.log
|
||||||
|
|
||||||
|
# Test files
|
||||||
|
pdf_test/
|
||||||
|
cereal*.txt
|
||||||
|
test_*.py
|
||||||
|
docker-compose.test.yml
|
||||||
|
Dockerfile.test
|
||||||
|
requirements_summaries.txt
|
||||||
|
|
||||||
|
# Runtime state
|
||||||
|
.main_service.lock
|
||||||
|
cbc-main.pid
|
||||||
|
*.pid
|
||||||
|
*.db
|
||||||
|
|
||||||
|
# System files
|
||||||
|
.docker/buildx/
|
||||||
|
.dotnet/
|
||||||
|
.gemini/
|
||||||
|
.ssh/
|
||||||
|
.sudo_as_admin_successful
|
||||||
|
resumenes/
|
||||||
|
|
||||||
|
# IDE and editor files
|
||||||
|
.vscode/
|
||||||
|
.idea/
|
||||||
|
*.swp
|
||||||
|
*.swo
|
||||||
|
*~
|
||||||
|
|
||||||
|
# OS generated files
|
||||||
|
.DS_Store
|
||||||
|
.DS_Store?
|
||||||
|
._*
|
||||||
|
.Spotlight-V100
|
||||||
|
.Trashes
|
||||||
|
ehthumbs.db
|
||||||
|
Thumbs.db
|
||||||
|
.aider*
|
||||||
240
ARQUITECTURA.md
Normal file
240
ARQUITECTURA.md
Normal file
@@ -0,0 +1,240 @@
|
|||||||
|
# 🏗️ Arquitectura del Sistema Integrado
|
||||||
|
|
||||||
|
## 📊 Diagrama General
|
||||||
|
|
||||||
|
```
|
||||||
|
┌─────────────────────────────────────────────────────────────────────────────┐
|
||||||
|
│ SISTEMA COMPLETO │
|
||||||
|
│ │
|
||||||
|
│ ┌──────────────┐ ┌──────────────┐ │
|
||||||
|
│ │ SERVICIO │ │ DASHBOARD │ │
|
||||||
|
│ │ PRINCIPAL │◄────── Comparte ───────►│ WEB │ │
|
||||||
|
│ │ (main.py) │ contexto │ (dashboard) │ │
|
||||||
|
│ └──────┬───────┘ └──────┬───────┘ │
|
||||||
|
│ │ │ │
|
||||||
|
│ │ Polling cada 5s │ API REST │
|
||||||
|
│ ▼ ▼ │
|
||||||
|
│ ┌──────────────────────────────────────────────────────────┐ │
|
||||||
|
│ │ PROCESAMIENTO AUTOMÁTICO │ │
|
||||||
|
│ │ ┌──────────┐ ┌──────────┐ ┌──────────┐ ┌──────────┐ │ │
|
||||||
|
│ │ │ AUDIO │ │ PDF │ │ TXT │ │ WEBDAV │ │ │
|
||||||
|
│ │ │Whisper+IA│ │ OCR+IA │ │ IA │ │ Sync │ │ │
|
||||||
|
│ │ └────┬─────┘ └────┬─────┘ └────┬─────┘ └────┬─────┘ │ │
|
||||||
|
│ └──────┼─────────────┼─────────────┼────────────┼─────────┘ │
|
||||||
|
│ │ │ │ │ │
|
||||||
|
│ └─────────────┴─────────────┴────────────┘ │
|
||||||
|
│ │ │
|
||||||
|
│ ▼ │
|
||||||
|
│ ┌────────────────┐ │
|
||||||
|
│ │ NEXTCLOUD │ │
|
||||||
|
│ │ (WebDAV) │ │
|
||||||
|
│ └────────────────┘ │
|
||||||
|
│ │
|
||||||
|
└─────────────────────────────────────────────────────────────────────────────┘
|
||||||
|
```
|
||||||
|
|
||||||
|
## 🔄 Flujo de Datos
|
||||||
|
|
||||||
|
### 1. Servicio Principal (main.py)
|
||||||
|
```
|
||||||
|
Inicio → start_dashboard() → main() [Bucle infinito]
|
||||||
|
↓ ↓ ↓
|
||||||
|
Dashboard Hilo separado Polling 5s
|
||||||
|
Web (5000) (daemon) ↓
|
||||||
|
Check Archivos
|
||||||
|
↓
|
||||||
|
Procesar
|
||||||
|
↓
|
||||||
|
Subir a Nextcloud
|
||||||
|
```
|
||||||
|
|
||||||
|
### 2. Dashboard Web (dashboard.py)
|
||||||
|
```
|
||||||
|
HTTP Request → Flask App → API Endpoints
|
||||||
|
↓ ↓ ↓
|
||||||
|
localhost:5000 Routing file_manager
|
||||||
|
↓ ↓ ↓
|
||||||
|
Browser Python Code Operar archivos
|
||||||
|
```
|
||||||
|
|
||||||
|
## 📡 Comunicación entre Componentes
|
||||||
|
|
||||||
|
### Imports Compartidos
|
||||||
|
```python
|
||||||
|
# main.py importa del dashboard
|
||||||
|
import dashboard
|
||||||
|
dashboard.app.run() # En hilo separado
|
||||||
|
|
||||||
|
# dashboard.py importa de main
|
||||||
|
from main import (
|
||||||
|
AUDIO_EXTENSIONS,
|
||||||
|
LOCAL_DOWNLOADS_PATH,
|
||||||
|
load_processed_files,
|
||||||
|
process_audio_file
|
||||||
|
)
|
||||||
|
```
|
||||||
|
|
||||||
|
### Estado Compartido
|
||||||
|
- ✅ Variables de configuración
|
||||||
|
- ✅ Funciones de procesamiento
|
||||||
|
- ✅ Registro de archivos procesados
|
||||||
|
- ✅ Conexión WebDAV a Nextcloud
|
||||||
|
|
||||||
|
## 🎯 Modos de Ejecución
|
||||||
|
|
||||||
|
### Modo 1: Servicio Completo
|
||||||
|
```bash
|
||||||
|
python3 main.py
|
||||||
|
```
|
||||||
|
```
|
||||||
|
┌─────────────────────────────────────┐
|
||||||
|
│ THREAD PRINCIPAL │
|
||||||
|
│ ┌──────────────────────────────┐ │
|
||||||
|
│ │ main() - Bucle principal │ │
|
||||||
|
│ │ - Polling Nextcloud │ │
|
||||||
|
│ │ - Procesar archivos │ │
|
||||||
|
│ └──────────────────────────────┘ │
|
||||||
|
└─────────────────────────────────────┘
|
||||||
|
│
|
||||||
|
│ threading.Thread
|
||||||
|
▼
|
||||||
|
┌─────────────────────────────────────┐
|
||||||
|
│ DASHBOARD THREAD (daemon) │
|
||||||
|
│ ┌──────────────────────────────┐ │
|
||||||
|
│ │ Flask Web Server │ │
|
||||||
|
│ │ - Puerto 5000 │ │
|
||||||
|
│ │ - API REST │ │
|
||||||
|
│ │ - Interfaz web │ │
|
||||||
|
│ └──────────────────────────────┘ │
|
||||||
|
└─────────────────────────────────────┘
|
||||||
|
```
|
||||||
|
|
||||||
|
### Modo 2: Solo Dashboard
|
||||||
|
```bash
|
||||||
|
python3 main.py dashboard-only
|
||||||
|
```
|
||||||
|
```
|
||||||
|
┌─────────────────────────────────────┐
|
||||||
|
│ MAIN THREAD │
|
||||||
|
│ ┌──────────────────────────────┐ │
|
||||||
|
│ │ Flask Web Server ONLY │ │
|
||||||
|
│ │ - Puerto 5000 │ │
|
||||||
|
│ │ - Sin bucle principal │ │
|
||||||
|
│ └──────────────────────────────┘ │
|
||||||
|
└─────────────────────────────────────┘
|
||||||
|
```
|
||||||
|
|
||||||
|
## 🗂️ Estructura de Archivos
|
||||||
|
|
||||||
|
```
|
||||||
|
/home/ren/cbc/
|
||||||
|
├── main.py # Servicio principal + integra dashboard
|
||||||
|
├── dashboard.py # Aplicación Flask independiente
|
||||||
|
├── test_dashboard.py # Script de pruebas
|
||||||
|
├── templates/
|
||||||
|
│ └── index.html # Interfaz web del dashboard
|
||||||
|
├── downloads/ # Archivos temporales locales
|
||||||
|
├── processed_files.txt # Registro de procesados
|
||||||
|
├── QUICKSTART.md # Guía de inicio rápido
|
||||||
|
├── DASHBOARD_INSTRUCTIONS.md # Manual detallado
|
||||||
|
└── ARQUITECTURA.md # Este archivo
|
||||||
|
```
|
||||||
|
|
||||||
|
## 🔌 API Endpoints del Dashboard
|
||||||
|
|
||||||
|
| Método | Endpoint | Función |
|
||||||
|
|--------|----------|---------|
|
||||||
|
| GET | `/` | Página principal |
|
||||||
|
| GET | `/api/files` | Obtener lista de archivos |
|
||||||
|
| POST | `/api/reprocess` | Reprocesar archivo |
|
||||||
|
| POST | `/api/mark-unprocessed` | Marcar como no procesado |
|
||||||
|
| GET | `/api/refresh` | Refrescar lista |
|
||||||
|
| GET | `/health` | Health check |
|
||||||
|
| GET | `/downloads/<archivo>` | Descargar archivo |
|
||||||
|
|
||||||
|
## 🚀 Proceso de Inicio
|
||||||
|
|
||||||
|
```
|
||||||
|
1. Usuario ejecuta: python3 main.py
|
||||||
|
│
|
||||||
|
├─► main.py inicia
|
||||||
|
│ │
|
||||||
|
│ ├─► acquire_lock() [Evitar múltiples instancias]
|
||||||
|
│ │
|
||||||
|
│ ├─► start_dashboard() [INICIA DASHBOARD]
|
||||||
|
│ │ │
|
||||||
|
│ │ ├─► import dashboard
|
||||||
|
│ │ │
|
||||||
|
│ │ ├─► threading.Thread(target=run_dashboard)
|
||||||
|
│ │ │
|
||||||
|
│ │ ├─► dashboard_thread.start()
|
||||||
|
│ │ │
|
||||||
|
│ │ └─► ✅ Dashboard en http://localhost:5000
|
||||||
|
│ │
|
||||||
|
│ ├─► time.sleep(2) [Pausa para dashboard]
|
||||||
|
│ │
|
||||||
|
│ └─► main() [INICIA BUCLE PRINCIPAL]
|
||||||
|
│ │
|
||||||
|
│ └─► while True:
|
||||||
|
│ │
|
||||||
|
│ ├─► Polling Nextcloud
|
||||||
|
│ ├─► Verificar archivos nuevos
|
||||||
|
│ ├─► Procesar automáticamente
|
||||||
|
│ └─► sleep(5) [esperar 5s]
|
||||||
|
│
|
||||||
|
└─► Servicio corriendo indefinidamente
|
||||||
|
│
|
||||||
|
├─► Dashboard accesible
|
||||||
|
└─► Procesamiento activo
|
||||||
|
```
|
||||||
|
|
||||||
|
## 🔐 Características de Seguridad
|
||||||
|
|
||||||
|
1. **Threading Daemon**
|
||||||
|
- Dashboard se cierra automáticamente con main.py
|
||||||
|
- No impide el cierre del programa
|
||||||
|
|
||||||
|
2. **Lock File**
|
||||||
|
- Evita múltiples instancias de main.py
|
||||||
|
- Protección automática via `fcntl`
|
||||||
|
|
||||||
|
3. **Error Handling**
|
||||||
|
- Dashboard puede fallar sin afectar main
|
||||||
|
- Logging detallado de errores
|
||||||
|
|
||||||
|
4. **CORS Enabled**
|
||||||
|
- Flask-CORS configurado
|
||||||
|
- Acceso desde cualquier origen
|
||||||
|
|
||||||
|
## 💡 Ventajas de la Integración
|
||||||
|
|
||||||
|
### ✅ Beneficios
|
||||||
|
- **Un solo comando** para todo
|
||||||
|
- **Contexto compartido** (config, funciones)
|
||||||
|
- **Cierre automático** (hilo daemon)
|
||||||
|
- **Logs unificados** (consola única)
|
||||||
|
- **Sin dependencias externas** (todo en main.py)
|
||||||
|
|
||||||
|
### ⚡ Rendimiento
|
||||||
|
- **Dashboard**: ~5-10MB RAM
|
||||||
|
- **Main**: Variable según procesamiento
|
||||||
|
- **Comunicación**: Directa (mismo proceso)
|
||||||
|
- **Latencia**: Mínima (sin red)
|
||||||
|
|
||||||
|
### 🛠️ Mantenimiento
|
||||||
|
- **Código unificado** en main.py
|
||||||
|
- **Menos archivos** de configuración
|
||||||
|
- **Debugging simplificado** (una sola consola)
|
||||||
|
- **Actualización fácil** (un solo archivo)
|
||||||
|
|
||||||
|
## 🎉 Resumen
|
||||||
|
|
||||||
|
El sistema está **completamente integrado**:
|
||||||
|
- ✅ Un solo comando: `python3 main.py`
|
||||||
|
- ✅ Dashboard automático en puerto 5000
|
||||||
|
- ✅ Servicio principal procesando 24/7
|
||||||
|
- ✅ Interfaz web moderna y responsive
|
||||||
|
- ✅ API REST completa
|
||||||
|
- ✅ Gestión de archivos en tiempo real
|
||||||
|
|
||||||
|
**¡Simplemente ejecuta `python3 main.py` y visita http://localhost:5000!** 🚀
|
||||||
206
DASHBOARD_INSTRUCTIONS.md
Normal file
206
DASHBOARD_INSTRUCTIONS.md
Normal file
@@ -0,0 +1,206 @@
|
|||||||
|
# 🎛️ Dashboard Integrado - Instrucciones de Uso
|
||||||
|
|
||||||
|
## 🚀 Inicio Rápido
|
||||||
|
|
||||||
|
### Ejecutar servicio completo con dashboard
|
||||||
|
|
||||||
|
```bash
|
||||||
|
python3 main.py
|
||||||
|
```
|
||||||
|
|
||||||
|
**¡Listo!** Tendrás:
|
||||||
|
- ✅ Servicio principal procesando archivos automáticamente
|
||||||
|
- ✅ Dashboard web accesible en **http://localhost:5000**
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 📊 ¿Qué es el Dashboard?
|
||||||
|
|
||||||
|
El dashboard es una **interfaz web moderna** que te permite:
|
||||||
|
|
||||||
|
### 🔍 Monitoreo
|
||||||
|
- Ver todos los archivos de audio en tiempo real
|
||||||
|
- Filtrar por origen (Local/WebDAV)
|
||||||
|
- Buscar archivos por nombre
|
||||||
|
- Ver estadísticas: total, procesados, pendientes
|
||||||
|
|
||||||
|
### ⚡ Control
|
||||||
|
- **Reprocesar archivos** con un solo click
|
||||||
|
- **Resetear archivos** para forzar reprocesamiento
|
||||||
|
- **Descargar resultados** en múltiples formatos
|
||||||
|
|
||||||
|
### 📁 Gestión de Archivos
|
||||||
|
Ver formatos disponibles para cada archivo:
|
||||||
|
- 📝 TXT (transcripción)
|
||||||
|
- 📋 MD (Markdown)
|
||||||
|
- 📄 DOCX (documento editable)
|
||||||
|
- 📑 PDF (documento PDF)
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 🌐 Uso del Dashboard
|
||||||
|
|
||||||
|
### 1. Acceder
|
||||||
|
Abre tu navegador en: **http://localhost:5000**
|
||||||
|
|
||||||
|
### 2. Ver Archivos
|
||||||
|
La página principal muestra:
|
||||||
|
- **Header**: Título del dashboard
|
||||||
|
- **Estadísticas**: Cards con total, procesados, pendientes
|
||||||
|
- **Controles**: Botones para refrescar y reprocesar
|
||||||
|
- **Lista**: Grid de archivos con información
|
||||||
|
|
||||||
|
### 3. Filtrar
|
||||||
|
Usa los filtros en la parte superior:
|
||||||
|
- ☑️ **Local**: Mostrar archivos de la carpeta downloads
|
||||||
|
- ☑️ **WebDAV**: Mostrar archivos de Nextcloud
|
||||||
|
- 🔍 **Búsqueda**: Escribir para filtrar por nombre
|
||||||
|
|
||||||
|
### 4. Acciones por Archivo
|
||||||
|
|
||||||
|
#### Para archivos **Pendientes**:
|
||||||
|
1. Click en botón **🚀 Procesar**
|
||||||
|
2. Confirmar si hay archivos existentes
|
||||||
|
3. El archivo se encola para procesamiento
|
||||||
|
4. El estado se actualiza automáticamente
|
||||||
|
|
||||||
|
#### Para archivos **Procesados**:
|
||||||
|
1. Click en botón **🔄 Resetear**
|
||||||
|
2. Confirmar la acción
|
||||||
|
3. El archivo se marca como no procesado
|
||||||
|
4. Podrás reprocesarlo cuando quieras
|
||||||
|
|
||||||
|
### 5. Descargar Resultados
|
||||||
|
Si un archivo tiene formatos disponibles, verás enlaces:
|
||||||
|
- 📝 TXT, 📋 MD, 📄 DOCX, 📑 PDF
|
||||||
|
- Click directo para descargar
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 🔧 Comandos Alternativos
|
||||||
|
|
||||||
|
### Solo Dashboard (sin servicio principal)
|
||||||
|
```bash
|
||||||
|
python3 main.py dashboard-only
|
||||||
|
```
|
||||||
|
|
||||||
|
### Otros comandos disponibles
|
||||||
|
```bash
|
||||||
|
# Servicio completo
|
||||||
|
python3 main.py
|
||||||
|
|
||||||
|
# Procesar audio individual
|
||||||
|
python3 main.py whisper audio.mp3 salida.txt
|
||||||
|
|
||||||
|
# Procesar PDF individual
|
||||||
|
python3 main.py pdf documento.pdf editable.docx
|
||||||
|
|
||||||
|
# Convertir texto a resumen
|
||||||
|
python3 main.py txt2docx texto.txt resumen.docx
|
||||||
|
|
||||||
|
# Generar quiz
|
||||||
|
python3 main.py quiz "texto del quiz" quiz.docx
|
||||||
|
```
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 📱 Interfaz Responsive
|
||||||
|
|
||||||
|
El dashboard funciona en:
|
||||||
|
- 💻 **Desktop**: Interfaz completa con todas las funciones
|
||||||
|
- 📱 **Móvil**: Adaptado para pantallas pequeñas
|
||||||
|
- 📲 **Tablet**: Experiencia optimizada para tablets
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 🎨 Características de la UI
|
||||||
|
|
||||||
|
- **Diseño moderno**: Gradientes y efectos glassmorphism
|
||||||
|
- **Animaciones suaves**: Transiciones y hover effects
|
||||||
|
- **Feedback visual**: Estados de carga y confirmación
|
||||||
|
- **Tema oscuro**: Colores elegantes y profesionales
|
||||||
|
- **Iconos**: Emojis para mejor identificación visual
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## ⚙️ API Endpoints
|
||||||
|
|
||||||
|
El dashboard expone una API REST:
|
||||||
|
|
||||||
|
- `GET /api/files` - Obtener lista de archivos
|
||||||
|
- `POST /api/reprocess` - Reprocesar archivo
|
||||||
|
- `POST /api/mark-unprocessed` - Marcar como no procesado
|
||||||
|
- `GET /api/refresh` - Refrescar lista
|
||||||
|
- `GET /health` - Health check
|
||||||
|
- `GET /downloads/<archivo>` - Descargar archivo
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 🚨 Notas Importantes
|
||||||
|
|
||||||
|
### Logs
|
||||||
|
Los logs del dashboard aparecen en la consola donde ejecutaste `main.py`
|
||||||
|
|
||||||
|
### Errores Comunes
|
||||||
|
1. **Puerto 5000 en uso**
|
||||||
|
- Solución: Cambiar puerto en `dashboard.py` o terminar proceso anterior
|
||||||
|
|
||||||
|
2. **No aparecen archivos**
|
||||||
|
- Verificar conexión a Nextcloud
|
||||||
|
- Revisar variables de entorno NEXTCLOUD_*
|
||||||
|
- Comprobar que hay archivos en la carpeta Audios
|
||||||
|
|
||||||
|
3. **Error al procesar**
|
||||||
|
- Revisar logs en la consola
|
||||||
|
- Verificar dependencias (Flask, etc.)
|
||||||
|
- Comprobar espacio en disco
|
||||||
|
|
||||||
|
### Rendimiento
|
||||||
|
- El dashboard se ejecuta en **hilo separado**
|
||||||
|
- **No bloquea** el procesamiento principal
|
||||||
|
- Se inicia **automáticamente** con main.py
|
||||||
|
- **Cierre seguro** al terminar main.py
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 🎯 Casos de Uso
|
||||||
|
|
||||||
|
### 📚 Estudio Personal
|
||||||
|
1. Sube audios de clases a Nextcloud
|
||||||
|
2. El sistema los procesa automáticamente
|
||||||
|
3. Usa el dashboard para descargar resúmenes
|
||||||
|
4. Estudia con los documentos DOCX generados
|
||||||
|
|
||||||
|
### 🏢 Oficina
|
||||||
|
1. Configura Nextcloud empresarial
|
||||||
|
2. Comparte carpeta Audios con el equipo
|
||||||
|
3. Todos pueden subir archivos para procesar
|
||||||
|
4. Gestiona todo desde el dashboard web
|
||||||
|
|
||||||
|
### 🔄 Reprocesamiento
|
||||||
|
1. Un archivo falló al procesarse
|
||||||
|
2. Usa el dashboard para resetearlo
|
||||||
|
3. Reprocesa con un click
|
||||||
|
4. Descarga el resultado actualizado
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 🎉 ¡Disfruta!
|
||||||
|
|
||||||
|
**Simplemente ejecuta:**
|
||||||
|
```bash
|
||||||
|
python3 main.py
|
||||||
|
```
|
||||||
|
|
||||||
|
**Y visita:** http://localhost:5000
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
### ¿Necesitas Ayuda?
|
||||||
|
|
||||||
|
1. Revisa los logs en la consola
|
||||||
|
2. Verifica que Flask esté instalado: `pip3 install flask flask-cors`
|
||||||
|
3. Comprueba que el puerto 5000 esté libre
|
||||||
|
4. Asegúrate de tener conexión a Internet para APIs de IA
|
||||||
|
|
||||||
|
**¡El dashboard está listo para usar!** 🚀
|
||||||
43
Dockerfile
Executable file
43
Dockerfile
Executable file
@@ -0,0 +1,43 @@
|
|||||||
|
# Usar una imagen base de NVIDIA con CUDA 12.1.1 y Python 3.10
|
||||||
|
FROM nvidia/cuda:12.1.1-runtime-ubuntu22.04
|
||||||
|
|
||||||
|
# Evitar que los cuadros de diálogo de apt se bloqueen
|
||||||
|
ENV DEBIAN_FRONTEND=noninteractive
|
||||||
|
|
||||||
|
# Instalar Python, pip, ffmpeg, Node.js y otras dependencias del sistema
|
||||||
|
RUN apt-get update && apt-get install -y python3.10 python3-pip ffmpeg poppler-utils tesseract-ocr tesseract-ocr-spa curl && rm -rf /var/lib/apt/lists/*
|
||||||
|
|
||||||
|
# Instalar Node.js 20 usando NodeSource repository
|
||||||
|
RUN curl -fsSL https://deb.nodesource.com/setup_20.x | bash - && \
|
||||||
|
apt-get install -y nodejs && \
|
||||||
|
rm -rf /var/lib/apt/lists/*
|
||||||
|
|
||||||
|
# Crear un enlace simbólico para que python3 -> python
|
||||||
|
RUN ln -s /usr/bin/python3 /usr/bin/python
|
||||||
|
|
||||||
|
# Establecer el directorio de trabajo
|
||||||
|
WORKDIR /app
|
||||||
|
|
||||||
|
# Copiar el archivo de requerimientos e instalar PyTorch con soporte para CUDA
|
||||||
|
COPY requirements.txt .
|
||||||
|
|
||||||
|
# Instalar PyTorch y las dependencias de audio/visión compatibles con CUDA 12.1
|
||||||
|
RUN python3 -m pip install --no-cache-dir --upgrade pip
|
||||||
|
RUN python3 -m pip install --no-cache-dir torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
|
||||||
|
|
||||||
|
# Instalar el resto de las dependencias
|
||||||
|
RUN python3 -m pip install --no-cache-dir -r requirements.txt
|
||||||
|
RUN apt-get update && apt-get install -y tesseract-ocr tesseract-ocr-spa libgl1 libglib2.0-0
|
||||||
|
RUN python3 -m pip install --no-cache-dir easyocr pytesseract opencv-python-headless pdf2image transformers
|
||||||
|
|
||||||
|
# Instalar Claude CLI
|
||||||
|
RUN npm install -g @anthropic-ai/claude-code
|
||||||
|
|
||||||
|
# Instalar Gemini CLI como root
|
||||||
|
RUN npm install -g @google/gemini-cli
|
||||||
|
|
||||||
|
# Copiar todo el código de la aplicación al contenedor
|
||||||
|
COPY . .
|
||||||
|
|
||||||
|
# Comando por defecto para iniciar el servicio principal unificado
|
||||||
|
CMD ["python3", "main.py"]
|
||||||
32
Dockerfile.dashboard
Normal file
32
Dockerfile.dashboard
Normal file
@@ -0,0 +1,32 @@
|
|||||||
|
FROM python:3.11-slim
|
||||||
|
|
||||||
|
# Establecer directorio de trabajo
|
||||||
|
WORKDIR /app
|
||||||
|
|
||||||
|
# Instalar dependencias del sistema
|
||||||
|
RUN apt-get update && apt-get install -y \
|
||||||
|
gcc \
|
||||||
|
g++ \
|
||||||
|
&& rm -rf /var/lib/apt/lists/*
|
||||||
|
|
||||||
|
# Copiar requirements y dependencias de Python
|
||||||
|
COPY requirements.txt requirements-dashboard.txt ./
|
||||||
|
|
||||||
|
# Instalar dependencias de Python
|
||||||
|
RUN pip install --no-cache-dir -r requirements-dashboard.txt
|
||||||
|
|
||||||
|
# Copiar archivos de la aplicación
|
||||||
|
COPY main.py dashboard.py ./
|
||||||
|
COPY templates/ ./templates/
|
||||||
|
|
||||||
|
# Crear directorios necesarios
|
||||||
|
RUN mkdir -p downloads resumenes_docx
|
||||||
|
|
||||||
|
# Establecer permisos
|
||||||
|
RUN chmod +x dashboard.py
|
||||||
|
|
||||||
|
# Exponer puerto
|
||||||
|
EXPOSE 5000
|
||||||
|
|
||||||
|
# Comando para ejecutar el dashboard
|
||||||
|
CMD ["python", "dashboard.py"]
|
||||||
88
QUICKSTART.md
Normal file
88
QUICKSTART.md
Normal file
@@ -0,0 +1,88 @@
|
|||||||
|
# 🚀 Quick Start - Dashboard Integrado
|
||||||
|
|
||||||
|
## ✅ Estado Actual
|
||||||
|
- ✅ Flask instalado y configurado
|
||||||
|
- ✅ Dashboard funcionando correctamente
|
||||||
|
- ✅ 210 archivos procesados detectados
|
||||||
|
- ✅ Todas las pruebas pasaron
|
||||||
|
|
||||||
|
## 🎯 Uso Inmediato
|
||||||
|
|
||||||
|
### Opción 1: Servicio Completo (Recomendado)
|
||||||
|
```bash
|
||||||
|
python3 main.py
|
||||||
|
```
|
||||||
|
**Resultado:**
|
||||||
|
- ✅ Servicio principal procesando archivos automáticamente
|
||||||
|
- ✅ Dashboard web disponible en http://localhost:5000
|
||||||
|
|
||||||
|
### Opción 2: Solo Dashboard
|
||||||
|
```bash
|
||||||
|
python3 main.py dashboard-only
|
||||||
|
```
|
||||||
|
|
||||||
|
### Opción 3: Probar Dashboard
|
||||||
|
```bash
|
||||||
|
python3 test_dashboard.py
|
||||||
|
```
|
||||||
|
|
||||||
|
## 📊 Dashboard Web
|
||||||
|
|
||||||
|
**URL:** http://localhost:5000
|
||||||
|
|
||||||
|
**Funciones:**
|
||||||
|
- 🔍 Ver archivos de audio en tiempo real
|
||||||
|
- 🔎 Filtrar por origen (Local/WebDAV)
|
||||||
|
- 🚀 Reprocesar archivos con 1 click
|
||||||
|
- 🔄 Resetear archivos procesados
|
||||||
|
- 📥 Descargar resultados (TXT, MD, DOCX, PDF)
|
||||||
|
- 📱 Interfaz responsive (móvil/tablet/desktop)
|
||||||
|
|
||||||
|
## 📁 Ubicaciones Importantes
|
||||||
|
|
||||||
|
- **Servicio Principal:** `/home/ren/cbc/main.py`
|
||||||
|
- **Dashboard:** `/home/ren/cbc/dashboard.py`
|
||||||
|
- **Interfaz Web:** `/home/ren/cbc/templates/index.html`
|
||||||
|
- **Pruebas:** `/home/ren/cbc/test_dashboard.py`
|
||||||
|
- **Instrucciones:** `/home/ren/cbc/DASHBOARD_INSTRUCTIONS.md`
|
||||||
|
|
||||||
|
## 🔧 Comandos Disponibles
|
||||||
|
|
||||||
|
```bash
|
||||||
|
# Servicio completo (main + dashboard)
|
||||||
|
python3 main.py
|
||||||
|
|
||||||
|
# Solo dashboard
|
||||||
|
python3 main.py dashboard-only
|
||||||
|
|
||||||
|
# Transcribir audio
|
||||||
|
python3 main.py whisper audio.mp3 salida.txt
|
||||||
|
|
||||||
|
# Procesar PDF
|
||||||
|
python3 main.py pdf documento.pdf editable.docx
|
||||||
|
|
||||||
|
# Texto a resumen
|
||||||
|
python3 main.py txt2docx texto.txt resumen.docx
|
||||||
|
|
||||||
|
# Generar quiz
|
||||||
|
python3 main.py quiz "texto" quiz.docx
|
||||||
|
|
||||||
|
# Marcar archivos como procesados
|
||||||
|
python3 main.py seed-processed
|
||||||
|
```
|
||||||
|
|
||||||
|
## 📞 Soporte
|
||||||
|
|
||||||
|
Si algo no funciona:
|
||||||
|
1. Ejecutar: `python3 test_dashboard.py`
|
||||||
|
2. Verificar logs en consola
|
||||||
|
3. Revisar: `/home/ren/cbc/DASHBOARD_INSTRUCTIONS.md`
|
||||||
|
|
||||||
|
## 🎉 ¡Listo para Usar!
|
||||||
|
|
||||||
|
**Simplemente ejecuta:**
|
||||||
|
```bash
|
||||||
|
python3 main.py
|
||||||
|
```
|
||||||
|
|
||||||
|
**Y visita:** http://localhost:5000
|
||||||
194
README.md
Normal file
194
README.md
Normal file
@@ -0,0 +1,194 @@
|
|||||||
|
# Nextcloud AI Service v8 Final
|
||||||
|
|
||||||
|
Sistema completo de procesamiento de audio, PDF y generación de resúmenes colaborativos mediante 3 modelos de IA.
|
||||||
|
|
||||||
|
## 🚀 Características Principales
|
||||||
|
|
||||||
|
### 🤖 Sistema Unificado de 3 IAs
|
||||||
|
- **GPT-OSS-120B**: Extracción de puntos clave mediante DeepInfra API
|
||||||
|
- **Claude CLI**: Desarrollo de resúmenes integrales mediante Z.ai API
|
||||||
|
- **Gemini CLI**: Formato y estilo final mediante CLI de Google
|
||||||
|
|
||||||
|
### 📁 Procesamiento de Archivos
|
||||||
|
- **Audio**: Transcripción con Whisper y generación de resúmenes
|
||||||
|
- **PDF**: OCR avanzado y conversión a documentos editables
|
||||||
|
- **Documentos**: Generación de resúmenes automáticos
|
||||||
|
- **Sincronización**: Integración completa con Nextcloud via WebDAV
|
||||||
|
|
||||||
|
### 🎯 Características Técnicas
|
||||||
|
- **Docker Multi-etapa**: Optimizado para producción
|
||||||
|
- **GPU CUDA 12.1**: Aceleración por hardware NVIDIA
|
||||||
|
- **CLI Tools**: Claude CLI y Gemini CLI para máxima compatibilidad
|
||||||
|
- **Unificación**: Sistema colaborativo que genera un único documento final
|
||||||
|
|
||||||
|
## 🛠️ Instalación
|
||||||
|
|
||||||
|
### Requisitos
|
||||||
|
- Docker y Docker Compose
|
||||||
|
- NVIDIA GPU con drivers CUDA 12.1+
|
||||||
|
- 16GB+ RAM recomendado
|
||||||
|
- 20GB+ espacio en disco
|
||||||
|
|
||||||
|
### Configuración
|
||||||
|
|
||||||
|
1. **Clonar el repositorio**
|
||||||
|
```bash
|
||||||
|
git clone https://gitea.cbcren.online/ren/nextcloud-ai-v8-final.git
|
||||||
|
cd nextcloud-ai-v8-final
|
||||||
|
```
|
||||||
|
|
||||||
|
2. **Configurar variables de entorno**
|
||||||
|
```bash
|
||||||
|
cp .env.example .env
|
||||||
|
# Editar .env con tus credenciales
|
||||||
|
```
|
||||||
|
|
||||||
|
3. **Iniciar servicios**
|
||||||
|
```bash
|
||||||
|
docker-compose up -d
|
||||||
|
```
|
||||||
|
|
||||||
|
## ⚙️ Configuración de Variables de Entorno
|
||||||
|
|
||||||
|
### Nextcloud
|
||||||
|
```env
|
||||||
|
NEXTCLOUD_URL=https://tu-nextcloud.com
|
||||||
|
NEXTCLOUD_USER=tu_usuario
|
||||||
|
NEXTCLOUD_PASS=tu_contraseña
|
||||||
|
```
|
||||||
|
|
||||||
|
### APIs de IA
|
||||||
|
```env
|
||||||
|
GEMINI_API_KEY=tu_gemini_key
|
||||||
|
DEEPINFRA_API_KEY=tu_deepinfra_key
|
||||||
|
ANTHROPIC_BASE_URL=https://api.z.ai/api/anthropic
|
||||||
|
ANTHROPIC_AUTH_TOKEN=tu_z_ai_token
|
||||||
|
```
|
||||||
|
|
||||||
|
### Notificaciones (Opcional)
|
||||||
|
```env
|
||||||
|
TELEGRAM_TOKEN=tu_bot_token
|
||||||
|
TELEGRAM_CHAT_ID=tu_chat_id
|
||||||
|
```
|
||||||
|
|
||||||
|
## 📊 Arquitectura del Sistema
|
||||||
|
|
||||||
|
```
|
||||||
|
┌─────────────────┐ ┌─────────────────┐ ┌─────────────────┐
|
||||||
|
│ GPT-OSS-120B │───▶│ Claude CLI │───▶│ Gemini CLI │
|
||||||
|
│ (DeepInfra) │ │ (Z.ai) │ │ (Google) │
|
||||||
|
└─────────────────┘ └─────────────────┘ └─────────────────┘
|
||||||
|
│ │ │
|
||||||
|
▼ ▼ ▼
|
||||||
|
┌─────────────────────────────────────────────────────────────────┐
|
||||||
|
│ Sistema Unificado │
|
||||||
|
│ (Documento Final Único) │
|
||||||
|
└─────────────────────────────────────────────────────────────────┘
|
||||||
|
│
|
||||||
|
▼
|
||||||
|
┌─────────────────────────────────────────────────────────────────┐
|
||||||
|
│ Nextcloud Service │
|
||||||
|
│ (Sincronización WebDAV) │
|
||||||
|
└─────────────────────────────────────────────────────────────────┘
|
||||||
|
```
|
||||||
|
|
||||||
|
## 🔧 Uso
|
||||||
|
|
||||||
|
### Procesamiento Automático
|
||||||
|
1. Sube archivos de audio a la carpeta `Audios` en Nextcloud
|
||||||
|
2. El sistema detecta automáticamente y genera resúmenes
|
||||||
|
3. Los documentos finales se guardan en `Documentos`
|
||||||
|
4. Las versiones Markdown se sincronizan con `Notes`
|
||||||
|
|
||||||
|
### Monitoreo
|
||||||
|
- **Logs**: `docker-compose logs -f app`
|
||||||
|
- **Estado**: `docker-compose ps`
|
||||||
|
- **Telegram**: Notificaciones automáticas (si está configurado)
|
||||||
|
|
||||||
|
## 🎨 Salida del Sistema
|
||||||
|
|
||||||
|
El sistema genera documentos unificados con:
|
||||||
|
|
||||||
|
1. **Puntos Clave**: Extraídos por GPT-OSS-120B
|
||||||
|
2. **Resumen Integral**: Desarrollado por Claude CLI (500+ palabras)
|
||||||
|
3. **Quiz de Evaluación**: 10 preguntas de opción múltiple
|
||||||
|
4. **Metadatos**: Información del proceso colaborativo
|
||||||
|
|
||||||
|
## 🐳 Docker
|
||||||
|
|
||||||
|
### Estructura de Contenedores
|
||||||
|
- **app**: Servicio principal con soporte GPU
|
||||||
|
- **ollama**: Servidor Ollama para modelos locales
|
||||||
|
|
||||||
|
### Personalización
|
||||||
|
```bash
|
||||||
|
# Reconstruir contenedores
|
||||||
|
docker-compose build
|
||||||
|
|
||||||
|
# Reiniciar servicios
|
||||||
|
docker-compose restart
|
||||||
|
|
||||||
|
# Ver logs en tiempo real
|
||||||
|
docker-compose logs -f app
|
||||||
|
```
|
||||||
|
|
||||||
|
## 🚨 Troubleshooting
|
||||||
|
|
||||||
|
### Problemas Comunes
|
||||||
|
|
||||||
|
1. **Error de permisos Claude CLI**
|
||||||
|
- Solución: `CLAUDE_DANGEROUSLY_SKIP_PERMISSIONS=1` en docker-compose.yml
|
||||||
|
|
||||||
|
2. **Timeout en procesamiento**
|
||||||
|
- Aumentar `MODEL_TIMEOUT_SECONDS` en .env
|
||||||
|
|
||||||
|
3. **Problemas de GPU**
|
||||||
|
- Verificar drivers NVIDIA y CUDA 12.1+
|
||||||
|
- Comprobar `nvidia-smi`
|
||||||
|
|
||||||
|
4. **Error de APIs**
|
||||||
|
- Verificar keys y endpoints en .env
|
||||||
|
- Comprobar límites de las APIs
|
||||||
|
|
||||||
|
## 📈 Métricas y Optimización
|
||||||
|
|
||||||
|
### Rendimiento
|
||||||
|
- **Tiempo de procesamiento**: ~2-5 minutos por audio de 5min
|
||||||
|
- **Uso de VRAM**: ~8-12GB con modelos GPU
|
||||||
|
- **Calidad de resúmenes**: Formato académico con análisis profundo
|
||||||
|
|
||||||
|
### Optimización
|
||||||
|
- **VRAM Management**: Limpieza automática cada 5 minutos
|
||||||
|
- **Error Handling**: Reintentos automáticos con backoff exponencial
|
||||||
|
- **Timeout Configurable**: Adaptarse a diferentes cargas de trabajo
|
||||||
|
|
||||||
|
## 🔐 Seguridad
|
||||||
|
|
||||||
|
- **API Keys**: Almacenadas como variables de entorno
|
||||||
|
- **WebDAV**: Autenticación básica con HTTPS
|
||||||
|
- **CLI Tools**: Configuración segura sin permisos de root
|
||||||
|
- **Redes**: Aislamiento de contenedores Docker
|
||||||
|
|
||||||
|
## 🤝 Contribuciones
|
||||||
|
|
||||||
|
1. Fork del repositorio
|
||||||
|
2. Crear rama feature
|
||||||
|
3. Commit con cambios descriptivos
|
||||||
|
4. Pull Request para revisión
|
||||||
|
|
||||||
|
## 📄 Licencia
|
||||||
|
|
||||||
|
MIT License - Ver archivo LICENSE para detalles
|
||||||
|
|
||||||
|
## 📞 Soporte
|
||||||
|
|
||||||
|
Para problemas o preguntas:
|
||||||
|
- Crear issue en el repositorio
|
||||||
|
- Revisar logs del sistema
|
||||||
|
- Verificar documentación de variables de entorno
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
**Versión**: 8.0 Final
|
||||||
|
**Última Actualización**: Septiembre 2024
|
||||||
|
**Estado**: Producción estable
|
||||||
285
README_AI_ASSISTANT.md
Normal file
285
README_AI_ASSISTANT.md
Normal file
@@ -0,0 +1,285 @@
|
|||||||
|
# 🤖 CBC Nextcloud AI Service - Documentación para Asistentes IA
|
||||||
|
|
||||||
|
## 📋 Resumen Ejecutivo
|
||||||
|
|
||||||
|
Este es un sistema automatizado de procesamiento de contenido académico que utiliza inteligencia artificial para transcribir audios, procesar PDFs y generar resúmenes colaborativos mediante la integración de 3 modelos de IA diferentes.
|
||||||
|
|
||||||
|
**Estado Actual**: ✅ ACTIVO y FUNCIONANDO
|
||||||
|
- **Servicio**: `cbc-main.service` (systemd)
|
||||||
|
- **Proceso Principal**: PID 49696 (única instancia)
|
||||||
|
- **GPU**: NVIDIA RTX 3050 (1.5GB/8GB en uso)
|
||||||
|
- **Última Actualización**: 2025-09-26
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 🖥️ Especificaciones del Sistema
|
||||||
|
|
||||||
|
### Hardware
|
||||||
|
- **CPU**: AMD Ryzen 5 5600X 6-Core Processor (12 hilos)
|
||||||
|
- **RAM**: 15GB DDR4 (9.7GB disponible)
|
||||||
|
- **GPU**: NVIDIA GeForce RTX 3050 (8GB VRAM)
|
||||||
|
- **Almacenamiento**: 439GB SSD (330GB libre)
|
||||||
|
- **Sistema Operativo**: Linux x86_64
|
||||||
|
|
||||||
|
### Software
|
||||||
|
- **Python**: 3.10.12
|
||||||
|
- **CUDA**: 12.2 (Driver 535.247.01)
|
||||||
|
- **Gestor de Servicios**: systemd
|
||||||
|
- **Directorio Principal**: `/home/ren/cbc/`
|
||||||
|
|
||||||
|
### Librerías Clave
|
||||||
|
- `torch` 2.8.0 (PyTorch con soporte CUDA)
|
||||||
|
- `transformers` 4.56.1 (Hugging Face)
|
||||||
|
- `whisper` 20240930 (OpenAI)
|
||||||
|
- `easyocr` 1.7.2 (OCR)
|
||||||
|
- `openai` 1.107.0 (API clientes)
|
||||||
|
- `python-docx` 1.2.0 (manipulación Word)
|
||||||
|
- `pdf2image` 1.17.0 (procesamiento PDF)
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 🚀 Funcionalidades Principales
|
||||||
|
|
||||||
|
### 1. Procesamiento de Audio
|
||||||
|
- **Formatos Soportados**: MP3, WAV, M4A, OGG
|
||||||
|
- **Transcripción**: Whisper (medium) con GPU aceleración
|
||||||
|
- **Salida**: Archivos de texto con timestamps
|
||||||
|
- **Ubicación**: Carpeta `Audios` en Nextcloud
|
||||||
|
|
||||||
|
### 2. Procesamiento de PDF
|
||||||
|
- **OCR Múltiple**: EasyOCR + Tesseract + TrOCR
|
||||||
|
- **Procesamiento por Lotes**: 3 páginas por chunk
|
||||||
|
- **Corrección IA**: Gemini para limpieza de texto
|
||||||
|
- **Salida**: Documentos DOCX editables
|
||||||
|
- **Ubicación**: Carpeta `Pdf` en Nextcloud
|
||||||
|
|
||||||
|
### 3. Sistema de Resúmenes Colaborativos
|
||||||
|
**3 Modelos de IA trabajando en secuencia**:
|
||||||
|
|
||||||
|
1. **GPT-OSS-120B** (DeepInfra API):
|
||||||
|
- Genera bullet points clave
|
||||||
|
- Análisis inicial del contenido
|
||||||
|
|
||||||
|
2. **Claude/Zhai** (CLI - API Z.ai):
|
||||||
|
- Desarrolla resumen integral
|
||||||
|
- 400-500 palabras estructuradas
|
||||||
|
|
||||||
|
3. **Gemini** (CLI - Google):
|
||||||
|
- Aplica formato final
|
||||||
|
- Optimiza presentación
|
||||||
|
|
||||||
|
### 4. Clasificación Inteligente de Contenido
|
||||||
|
El sistema clasifica automáticamente en 4 categorías temáticas:
|
||||||
|
- `historia` - Eventos históricos, cronologías
|
||||||
|
- `analisis_contable` - Contabilidad, finanzas, balances
|
||||||
|
- `instituciones_gobierno` - Política, gobierno, leyes
|
||||||
|
- `otras_clases` - Ciencias, tecnología, literatura, etc.
|
||||||
|
|
||||||
|
### 5. Generación de Quizzes
|
||||||
|
- **10 preguntas** de opción múltiple por documento
|
||||||
|
- **4 opciones** (A, B, C, D) por pregunta
|
||||||
|
- **Respuestas incluidas** en documentos separados
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## ⚙️ Configuración Actual
|
||||||
|
|
||||||
|
### Variables de Entorno
|
||||||
|
```bash
|
||||||
|
CUDA_LAUNCH_BLOCKING=1 # Depuración CUDA síncrona
|
||||||
|
PYTHONPATH=/home/ren/cbc # Ruta del proyecto
|
||||||
|
HOME=/home/ren # Directorio home
|
||||||
|
```
|
||||||
|
|
||||||
|
### Rutas del Sistema
|
||||||
|
- **Descargas**: `/app/downloads/`
|
||||||
|
- **Resúmenes**: `./downloads/`
|
||||||
|
- **Documentos DOCX**: `./resumenes_docx/`
|
||||||
|
- **Archivos Procesados**: `/app/processed_files.txt`
|
||||||
|
|
||||||
|
### Límites de Recursos
|
||||||
|
- **Memoria RAM**: 8GB máximo
|
||||||
|
- **CPU**: 90% de cuota
|
||||||
|
- **Archivos Abiertos**: 65536
|
||||||
|
- **Reinicio Automático**: Siempre (10 segundos de espera)
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 📁 Estructura de Archivos Principal
|
||||||
|
|
||||||
|
```
|
||||||
|
/home/ren/cbc/
|
||||||
|
├── main.py # Servicio principal (72,405 líneas)
|
||||||
|
├── .env # Variables de entorno
|
||||||
|
├── requirements.txt # Dependencias Python
|
||||||
|
├── README_AI_ASSISTANT.md # Este documento
|
||||||
|
├── MEGA_HISTORIA_parte*.txt # Historiales académicos
|
||||||
|
├── resumen_*.py # Scripts de resumen
|
||||||
|
├── procesador_academico.py # Procesamiento especializado
|
||||||
|
├── analizador_*.py # Análisis de contenido
|
||||||
|
├── config_telegram.txt # Configuración Telegram
|
||||||
|
└── txt/ # Directorio de textos
|
||||||
|
```
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 🔧 Gestión del Servicio
|
||||||
|
|
||||||
|
### Comandos Essenciales
|
||||||
|
```bash
|
||||||
|
# Ver estado del servicio
|
||||||
|
sudo systemctl status cbc-main
|
||||||
|
|
||||||
|
# Ver logs en tiempo real
|
||||||
|
sudo journalctl -u cbc-main -f
|
||||||
|
|
||||||
|
# Detener servicio
|
||||||
|
sudo systemctl stop cbc-main
|
||||||
|
|
||||||
|
# Iniciar servicio
|
||||||
|
sudo systemctl start cbc-main
|
||||||
|
|
||||||
|
# Reiniciar servicio
|
||||||
|
sudo systemctl restart cbc-main
|
||||||
|
|
||||||
|
# Ver uso de GPU
|
||||||
|
nvidia-smi
|
||||||
|
|
||||||
|
# Ver uso de memoria del sistema
|
||||||
|
free -h
|
||||||
|
```
|
||||||
|
|
||||||
|
### Monitoreo de Salud
|
||||||
|
```bash
|
||||||
|
# Verificar proceso único
|
||||||
|
ps aux | grep "python3.*main.py" | grep -v grep
|
||||||
|
|
||||||
|
# Verificar memoria GPU
|
||||||
|
nvidia-smi --query-gpu=memory.used,memory.total --format=csv
|
||||||
|
|
||||||
|
# Verificar espacio en disco
|
||||||
|
df -h /
|
||||||
|
|
||||||
|
# Verificar actividad de red
|
||||||
|
sudo netstat -tlnp | grep :80
|
||||||
|
```
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 🚨 Problemas Comunes y Soluciones
|
||||||
|
|
||||||
|
### Error CUDA: "CUDA-capable device(s) is/are busy or unavailable"
|
||||||
|
**Causa**: Múltiples procesos compitiendo por recursos GPU
|
||||||
|
**Solución**:
|
||||||
|
```bash
|
||||||
|
# Verificar procesos múltiples
|
||||||
|
ps aux | grep "python3.*main.py"
|
||||||
|
|
||||||
|
# Si hay múltiples, reiniciar servicio
|
||||||
|
sudo systemctl restart cbc-main
|
||||||
|
```
|
||||||
|
|
||||||
|
### Error de Permiso: "Permission denied"
|
||||||
|
**Causa**: El servicio no tiene permisos para escribir en `/app/`
|
||||||
|
**Solución**:
|
||||||
|
```bash
|
||||||
|
# Crear directorios con permisos correctos
|
||||||
|
sudo mkdir -p /app/downloads /app/resumenes
|
||||||
|
sudo chown -R ren:ren /app/
|
||||||
|
```
|
||||||
|
|
||||||
|
### Alto Uso de Memoria GPU
|
||||||
|
**Configuración actual optimizada**:
|
||||||
|
- `MAX_PAGES_PER_CHUNK = 3` (reducido de 5)
|
||||||
|
- `PDF_DPI = 200` (reducido de 300)
|
||||||
|
- `batch_size = 1` (procesamiento individual)
|
||||||
|
- `_MODEL_TIMEOUT_SECONDS = 300` (liberación rápida)
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 🔄 Flujo de Trabajo Automático
|
||||||
|
|
||||||
|
### 1. Detección de Archivos
|
||||||
|
- Monitorea carpetas Nextcloud cada 5 segundos
|
||||||
|
- Verifica archivos no procesados en `processed_files.txt`
|
||||||
|
|
||||||
|
### 2. Procesamiento según Tipo
|
||||||
|
**Audio** → Transcripción → Resumen Colaborativo → Clasificación → Subida
|
||||||
|
**PDF** → OCR → Corrección IA → Documento Editable → Resumen → Subida
|
||||||
|
|
||||||
|
### 3. Clasificación y Organización
|
||||||
|
- Análisis de contenido con Gemini
|
||||||
|
- Clasificación en categorías temáticas
|
||||||
|
- Renombrado automático con temas extraídos
|
||||||
|
- Organización en carpetas específicas
|
||||||
|
|
||||||
|
### 4. Notificaciones
|
||||||
|
- Envío de alertas por Telegram
|
||||||
|
- Reportes de progreso y errores
|
||||||
|
- Confirmación de procesamiento completado
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 📊 Métricas de Rendimiento
|
||||||
|
|
||||||
|
### Rendimiento Actual
|
||||||
|
- **Procesamiento PDF**: ~3-5 minutos por documento (12 páginas)
|
||||||
|
- **Transcripción Audio**: ~2-3 minutos por 10 minutos de audio
|
||||||
|
- **Generación Resúmenes**: ~1-2 minutos por documento
|
||||||
|
- **Uso GPU**: 1.5GB (estable)
|
||||||
|
- **Uso CPU**: 44% promedio
|
||||||
|
- **Memoria RAM**: 1.1GB utilizada
|
||||||
|
|
||||||
|
### Optimizaciones Aplicadas
|
||||||
|
- ✅ Procesamiento único (sin duplicados)
|
||||||
|
- ✅ Gestión agresiva de VRAM
|
||||||
|
- ✅ Límites de recursos controlados
|
||||||
|
- ✅ Reintentos automáticos para errores CUDA
|
||||||
|
- ✅ Sistema de clasificación inteligente
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 🔮 Estado y Próximos Pasos
|
||||||
|
|
||||||
|
### Estado Actual: SISTEMA ESTABLE
|
||||||
|
- ✅ Servicio systemd funcionando correctamente
|
||||||
|
- ✅ GPU operativa sin errores
|
||||||
|
- ✅ Procesamiento de PDF activo
|
||||||
|
- ✅ Clasificación automática funcionando
|
||||||
|
- ✅ Notificaciones Telegram operativas
|
||||||
|
|
||||||
|
### Posibles Mejoras Futuras
|
||||||
|
- Implementar cola de procesamiento para manejar carga pesada
|
||||||
|
- Añadir interfaz web para monitoreo
|
||||||
|
- Optimizar tiempos de procesamiento con modelos más eficientes
|
||||||
|
- Implementar sistema de backup automático
|
||||||
|
- Añadir métricas detalladas de rendimiento
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 📞 Información de Contacto y Soporte
|
||||||
|
|
||||||
|
### Para Emergencias del Sistema
|
||||||
|
```bash
|
||||||
|
# Reinicio completo del sistema
|
||||||
|
sudo systemctl restart cbc-main
|
||||||
|
|
||||||
|
# Liberación forzada de VRAM
|
||||||
|
sudo pkill -f python3
|
||||||
|
sudo systemctl start cbc-main
|
||||||
|
```
|
||||||
|
|
||||||
|
### Archivos de Log Importantes
|
||||||
|
- **Journal Systemd**: `sudo journalctl -u cbc-main`
|
||||||
|
- **Log GPU**: `nvidia-smi --query-gpu=timestamp,memory.used --format=csv -l 1`
|
||||||
|
- **Log Memoria**: `free -h -s 5`
|
||||||
|
|
||||||
|
### Puntos Críticos del Sistema
|
||||||
|
1. **Disponibilidad GPU**: NVIDIA RTX 3050 (8GB)
|
||||||
|
2. **Espacio en Disco**: 330GB disponibles
|
||||||
|
3. **Conexión Nextcloud**: WebDAV funcional
|
||||||
|
4. **API Keys**: Configuradas y operativas
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
*Este documento fue generado automáticamente el 2025-09-26 para proporcionar a asistentes IA una comprensión completa del estado y funcionalidad del sistema CBC Nextcloud AI Service.*
|
||||||
205
claude_code_zai_env.sh
Normal file
205
claude_code_zai_env.sh
Normal file
@@ -0,0 +1,205 @@
|
|||||||
|
#!/bin/bash
|
||||||
|
|
||||||
|
set -euo pipefail
|
||||||
|
|
||||||
|
# ========================
|
||||||
|
# Define Constants
|
||||||
|
# ========================
|
||||||
|
SCRIPT_NAME=$(basename "$0")
|
||||||
|
NODE_MIN_VERSION=18
|
||||||
|
NODE_INSTALL_VERSION=22
|
||||||
|
NVM_VERSION="v0.40.3"
|
||||||
|
CLAUDE_PACKAGE="@anthropic-ai/claude-code"
|
||||||
|
CONFIG_DIR="$HOME/.claude"
|
||||||
|
CONFIG_FILE="$CONFIG_DIR/settings.json"
|
||||||
|
API_BASE_URL="https://api.z.ai/api/anthropic"
|
||||||
|
API_KEY_URL="https://z.ai/manage-apikey/apikey-list"
|
||||||
|
API_TIMEOUT_MS=3000000
|
||||||
|
|
||||||
|
# ========================
|
||||||
|
# Functions
|
||||||
|
# ========================
|
||||||
|
|
||||||
|
log_info() {
|
||||||
|
echo "🔹 $*"
|
||||||
|
}
|
||||||
|
|
||||||
|
log_success() {
|
||||||
|
echo "✅ $*"
|
||||||
|
}
|
||||||
|
|
||||||
|
log_error() {
|
||||||
|
echo "❌ $*" >&2
|
||||||
|
}
|
||||||
|
|
||||||
|
ensure_dir_exists() {
|
||||||
|
local dir="$1"
|
||||||
|
if [ ! -d "$dir" ]; then
|
||||||
|
mkdir -p "$dir" || {
|
||||||
|
log_error "Failed to create directory: $dir"
|
||||||
|
exit 1
|
||||||
|
}
|
||||||
|
fi
|
||||||
|
}
|
||||||
|
|
||||||
|
# ========================
|
||||||
|
# Node.js Installation
|
||||||
|
# ========================
|
||||||
|
|
||||||
|
install_nodejs() {
|
||||||
|
local platform=$(uname -s)
|
||||||
|
|
||||||
|
case "$platform" in
|
||||||
|
Linux|Darwin)
|
||||||
|
log_info "Installing Node.js on $platform..."
|
||||||
|
|
||||||
|
# Install nvm
|
||||||
|
log_info "Installing nvm ($NVM_VERSION)..."
|
||||||
|
curl -s https://raw.githubusercontent.com/nvm-sh/nvm/"$NVM_VERSION"/install.sh | bash
|
||||||
|
|
||||||
|
# Load nvm
|
||||||
|
log_info "Loading nvm environment..."
|
||||||
|
\. "$HOME/.nvm/nvm.sh"
|
||||||
|
|
||||||
|
# Install Node.js
|
||||||
|
log_info "Installing Node.js $NODE_INSTALL_VERSION..."
|
||||||
|
nvm install "$NODE_INSTALL_VERSION"
|
||||||
|
|
||||||
|
# Verify installation
|
||||||
|
node -v &>/dev/null || {
|
||||||
|
log_error "Node.js installation failed"
|
||||||
|
exit 1
|
||||||
|
}
|
||||||
|
log_success "Node.js installed: $(node -v)"
|
||||||
|
log_success "npm version: $(npm -v)"
|
||||||
|
;;
|
||||||
|
*)
|
||||||
|
log_error "Unsupported platform: $platform"
|
||||||
|
exit 1
|
||||||
|
;;
|
||||||
|
esac
|
||||||
|
}
|
||||||
|
|
||||||
|
# ========================
|
||||||
|
# Node.js Check
|
||||||
|
# ========================
|
||||||
|
|
||||||
|
check_nodejs() {
|
||||||
|
if command -v node &>/dev/null; then
|
||||||
|
current_version=$(node -v | sed 's/v//')
|
||||||
|
major_version=$(echo "$current_version" | cut -d. -f1)
|
||||||
|
|
||||||
|
if [ "$major_version" -ge "$NODE_MIN_VERSION" ]; then
|
||||||
|
log_success "Node.js is already installed: v$current_version"
|
||||||
|
return 0
|
||||||
|
else
|
||||||
|
log_info "Node.js v$current_version is installed but version < $NODE_MIN_VERSION. Upgrading..."
|
||||||
|
install_nodejs
|
||||||
|
fi
|
||||||
|
else
|
||||||
|
log_info "Node.js not found. Installing..."
|
||||||
|
install_nodejs
|
||||||
|
fi
|
||||||
|
}
|
||||||
|
|
||||||
|
# ========================
|
||||||
|
# Claude Code Installation
|
||||||
|
# ========================
|
||||||
|
|
||||||
|
install_claude_code() {
|
||||||
|
if command -v claude &>/dev/null; then
|
||||||
|
log_success "Claude Code is already installed: $(claude --version)"
|
||||||
|
else
|
||||||
|
log_info "Installing Claude Code..."
|
||||||
|
npm install -g "$CLAUDE_PACKAGE" || {
|
||||||
|
log_error "Failed to install claude-code"
|
||||||
|
exit 1
|
||||||
|
}
|
||||||
|
log_success "Claude Code installed successfully"
|
||||||
|
fi
|
||||||
|
}
|
||||||
|
|
||||||
|
configure_claude_json(){
|
||||||
|
node --eval '
|
||||||
|
const os = require("os");
|
||||||
|
const fs = require("fs");
|
||||||
|
const path = require("path");
|
||||||
|
|
||||||
|
const homeDir = os.homedir();
|
||||||
|
const filePath = path.join(homeDir, ".claude.json");
|
||||||
|
if (fs.existsSync(filePath)) {
|
||||||
|
const content = JSON.parse(fs.readFileSync(filePath, "utf-8"));
|
||||||
|
fs.writeFileSync(filePath, JSON.stringify({ ...content, hasCompletedOnboarding: true }, null, 2), "utf-8");
|
||||||
|
} else {
|
||||||
|
fs.writeFileSync(filePath, JSON.stringify({ hasCompletedOnboarding: true }, null, 2), "utf-8");
|
||||||
|
}'
|
||||||
|
}
|
||||||
|
|
||||||
|
# ========================
|
||||||
|
# API Key Configuration
|
||||||
|
# ========================
|
||||||
|
|
||||||
|
configure_claude() {
|
||||||
|
log_info "Configuring Claude Code..."
|
||||||
|
echo " You can get your API key from: $API_KEY_URL"
|
||||||
|
read -s -p "🔑 Please enter your Z.AI API key: " api_key
|
||||||
|
echo
|
||||||
|
|
||||||
|
if [ -z "$api_key" ]; then
|
||||||
|
log_error "API key cannot be empty. Please run the script again."
|
||||||
|
exit 1
|
||||||
|
fi
|
||||||
|
|
||||||
|
ensure_dir_exists "$CONFIG_DIR"
|
||||||
|
|
||||||
|
# Write settings.json
|
||||||
|
node --eval '
|
||||||
|
const os = require("os");
|
||||||
|
const fs = require("fs");
|
||||||
|
const path = require("path");
|
||||||
|
|
||||||
|
const homeDir = os.homedir();
|
||||||
|
const filePath = path.join(homeDir, ".claude", "settings.json");
|
||||||
|
const apiKey = "'"$api_key"'";
|
||||||
|
|
||||||
|
const content = fs.existsSync(filePath)
|
||||||
|
? JSON.parse(fs.readFileSync(filePath, "utf-8"))
|
||||||
|
: {};
|
||||||
|
|
||||||
|
fs.writeFileSync(filePath, JSON.stringify({
|
||||||
|
...content,
|
||||||
|
env: {
|
||||||
|
ANTHROPIC_AUTH_TOKEN: apiKey,
|
||||||
|
ANTHROPIC_BASE_URL: "'"$API_BASE_URL"'",
|
||||||
|
API_TIMEOUT_MS: "'"$API_TIMEOUT_MS"'",
|
||||||
|
CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC: 1
|
||||||
|
}
|
||||||
|
}, null, 2), "utf-8");
|
||||||
|
' || {
|
||||||
|
log_error "Failed to write settings.json"
|
||||||
|
exit 1
|
||||||
|
}
|
||||||
|
|
||||||
|
log_success "Claude Code configured successfully"
|
||||||
|
}
|
||||||
|
|
||||||
|
# ========================
|
||||||
|
# Main
|
||||||
|
# ========================
|
||||||
|
|
||||||
|
main() {
|
||||||
|
echo "🚀 Starting $SCRIPT_NAME"
|
||||||
|
|
||||||
|
check_nodejs
|
||||||
|
install_claude_code
|
||||||
|
configure_claude_json
|
||||||
|
configure_claude
|
||||||
|
|
||||||
|
echo ""
|
||||||
|
log_success "🎉 Installation completed successfully!"
|
||||||
|
echo ""
|
||||||
|
echo "🚀 You can now start using Claude Code with:"
|
||||||
|
echo " claude"
|
||||||
|
}
|
||||||
|
|
||||||
|
main "$@"
|
||||||
21
config.yaml
Normal file
21
config.yaml
Normal file
@@ -0,0 +1,21 @@
|
|||||||
|
cache_ttl: 30
|
||||||
|
dashboard:
|
||||||
|
enabled: true
|
||||||
|
host: 0.0.0.0
|
||||||
|
port: 5000
|
||||||
|
http_timeout: 30
|
||||||
|
max_workers: 2
|
||||||
|
models:
|
||||||
|
claude: claude-3-haiku
|
||||||
|
gemini: gemini-1.5-flash
|
||||||
|
whisper: base
|
||||||
|
notifications:
|
||||||
|
telegram_enabled: true
|
||||||
|
verbose_logging: true
|
||||||
|
poll_interval: 5
|
||||||
|
processing:
|
||||||
|
batch_size: 3
|
||||||
|
parallel_uploads: 3
|
||||||
|
retry_attempts: 3
|
||||||
|
vram_threshold: 0.8
|
||||||
|
webdav_retries: 3
|
||||||
87
corregir_gallego.py
Normal file
87
corregir_gallego.py
Normal file
@@ -0,0 +1,87 @@
|
|||||||
|
#!/usr/bin/env python3
|
||||||
|
import re
|
||||||
|
|
||||||
|
def corregir_texto_gallego(input_file, output_file):
|
||||||
|
"""Aplica correcciones de gallego a español al archivo de transcripción"""
|
||||||
|
|
||||||
|
# Correcciones más comunes de gallego a español
|
||||||
|
correcciones = {
|
||||||
|
"xeo": "yo",
|
||||||
|
"non": "no",
|
||||||
|
"hai": "hay",
|
||||||
|
"entóns": "entonces",
|
||||||
|
"máis": "más",
|
||||||
|
"tamén": "también",
|
||||||
|
"sempre": "siempre",
|
||||||
|
"verdade": "verdad",
|
||||||
|
"cousa": "cosa",
|
||||||
|
"xente": "gente",
|
||||||
|
"tempo": "tiempo",
|
||||||
|
"lingua": "lengua",
|
||||||
|
"pode": "puede",
|
||||||
|
"xamón": "shogun",
|
||||||
|
"xomón": "shogun",
|
||||||
|
"unha": "una",
|
||||||
|
"dunha": "de una",
|
||||||
|
"nunha": "en una",
|
||||||
|
"xeral": "general",
|
||||||
|
"xeraria": "jerarquía",
|
||||||
|
"ximéas": "temas",
|
||||||
|
"ximeas": "temas",
|
||||||
|
"ronquera": "reunión",
|
||||||
|
"xocalizar": "juntar",
|
||||||
|
"oanxacular": "juntar",
|
||||||
|
"xocal": "junto",
|
||||||
|
"lúmulo": "grupo",
|
||||||
|
"lúmido": "grupo",
|
||||||
|
"lúmada": "grupos",
|
||||||
|
"nulunxación": "reunificación",
|
||||||
|
"xotalipa": "capitalista",
|
||||||
|
"crente": "gente",
|
||||||
|
"enxucar": "juntar",
|
||||||
|
"agora": "ahora",
|
||||||
|
"cando": "cuando",
|
||||||
|
"temos": "tenemos",
|
||||||
|
"habíamos": "habíamos",
|
||||||
|
"era": "era",
|
||||||
|
"había": "había",
|
||||||
|
"existía": "existía",
|
||||||
|
"también": "también",
|
||||||
|
"vamos": "vamos",
|
||||||
|
"teníamos": "teníamos",
|
||||||
|
"vimos": "vimos",
|
||||||
|
"estaba": "estaba",
|
||||||
|
"estaban": "estaban",
|
||||||
|
"podía": "podía",
|
||||||
|
"podemos": "podemos",
|
||||||
|
"somos": "somos"
|
||||||
|
}
|
||||||
|
|
||||||
|
with open(input_file, 'r', encoding='utf-8') as f:
|
||||||
|
lines = f.readlines()
|
||||||
|
|
||||||
|
corrected_lines = []
|
||||||
|
for line in lines:
|
||||||
|
corrected_line = line
|
||||||
|
# Aplicar correcciones
|
||||||
|
for gallego, espanol in correcciones.items():
|
||||||
|
corrected_line = corrected_line.replace(gallego, espanol)
|
||||||
|
|
||||||
|
# Normalizar espacios múltiples
|
||||||
|
corrected_line = re.sub(r'\s+', ' ', corrected_line)
|
||||||
|
|
||||||
|
# Eliminar líneas que son solo repeticiones de "e" o "¿no?"
|
||||||
|
if corrected_line.strip() and not re.match(r'^\s*\[?\d+:\d+:\d+\]\s+(e\s+)+\s*$', corrected_line) and not re.match(r'^\s*\[?\d+:\d+:\d+\]\s+¿no\?\s*$', corrected_line):
|
||||||
|
corrected_lines.append(corrected_line)
|
||||||
|
|
||||||
|
with open(output_file, 'w', encoding='utf-8') as f:
|
||||||
|
f.writelines(corrected_lines)
|
||||||
|
|
||||||
|
print(f"Archivo corregido guardado en: {output_file}")
|
||||||
|
print(f"Líneas procesadas: {len(lines)}")
|
||||||
|
print(f"Líneas finales: {len(corrected_lines)}")
|
||||||
|
|
||||||
|
if __name__ == "__main__":
|
||||||
|
input_file = "downloads/1_5134218813469886295.txt"
|
||||||
|
output_file = "downloads/1_5134218813469886295_corregido.txt"
|
||||||
|
corregir_texto_gallego(input_file, output_file)
|
||||||
417
dashboard.py
Normal file
417
dashboard.py
Normal file
@@ -0,0 +1,417 @@
|
|||||||
|
#!/usr/bin/env python3
|
||||||
|
"""
|
||||||
|
Dashboard Flask para gestión de archivos de audio
|
||||||
|
Interfaz web simple para reprocesar archivos MP3 con 1 click
|
||||||
|
"""
|
||||||
|
|
||||||
|
import os
|
||||||
|
import json
|
||||||
|
import logging
|
||||||
|
import subprocess
|
||||||
|
from datetime import datetime
|
||||||
|
from pathlib import Path
|
||||||
|
from typing import List, Dict, Any
|
||||||
|
|
||||||
|
from flask import Flask, render_template, request, jsonify, send_from_directory
|
||||||
|
from flask_cors import CORS
|
||||||
|
|
||||||
|
# Importar configuraciones del main.py
|
||||||
|
import sys
|
||||||
|
sys.path.append('/home/ren/cbc')
|
||||||
|
from main import (
|
||||||
|
AUDIO_EXTENSIONS, LOCAL_DOWNLOADS_PATH, PROCESSED_FILES_PATH,
|
||||||
|
load_processed_files, save_processed_file, process_audio_file,
|
||||||
|
REMOTE_AUDIOS_FOLDER, webdav_list, normalize_remote_path
|
||||||
|
)
|
||||||
|
|
||||||
|
app = Flask(__name__)
|
||||||
|
CORS(app)
|
||||||
|
|
||||||
|
# Configuración
|
||||||
|
app.config['SECRET_KEY'] = os.getenv('DASHBOARD_SECRET_KEY', 'dashboard-secret-key-change-in-production')
|
||||||
|
app.config['DOWNLOADS_FOLDER'] = LOCAL_DOWNLOADS_PATH
|
||||||
|
|
||||||
|
logging.basicConfig(level=logging.INFO)
|
||||||
|
logger = logging.getLogger(__name__)
|
||||||
|
|
||||||
|
class FileManager:
|
||||||
|
"""Gestor de archivos para el dashboard"""
|
||||||
|
|
||||||
|
def __init__(self):
|
||||||
|
self.processed_files = set()
|
||||||
|
self.load_processed_files()
|
||||||
|
|
||||||
|
def load_processed_files(self):
|
||||||
|
"""Cargar archivos procesados desde el registro"""
|
||||||
|
try:
|
||||||
|
self.processed_files = load_processed_files()
|
||||||
|
logger.info(f"Cargados {len(self.processed_files)} archivos procesados")
|
||||||
|
except Exception as e:
|
||||||
|
logger.error(f"Error cargando archivos procesados: {e}")
|
||||||
|
self.processed_files = set()
|
||||||
|
|
||||||
|
def get_audio_files(self) -> List[Dict[str, Any]]:
|
||||||
|
"""Obtener lista de archivos de audio disponibles"""
|
||||||
|
files = []
|
||||||
|
|
||||||
|
# Obtener archivos de WebDAV
|
||||||
|
try:
|
||||||
|
webdav_files = webdav_list(REMOTE_AUDIOS_FOLDER)
|
||||||
|
for file_path in webdav_files:
|
||||||
|
normalized_path = normalize_remote_path(file_path)
|
||||||
|
base_name = os.path.basename(normalized_path)
|
||||||
|
|
||||||
|
if any(normalized_path.lower().endswith(ext) for ext in AUDIO_EXTENSIONS):
|
||||||
|
available_formats = self._get_available_formats(base_name)
|
||||||
|
# Considerar procesado si está en el registro O si tiene archivos de salida
|
||||||
|
is_processed = (normalized_path in self.processed_files or
|
||||||
|
base_name in self.processed_files or
|
||||||
|
any(available_formats.values()))
|
||||||
|
|
||||||
|
files.append({
|
||||||
|
'filename': base_name,
|
||||||
|
'path': normalized_path,
|
||||||
|
'source': 'webdav',
|
||||||
|
'processed': is_processed,
|
||||||
|
'size': 'Unknown',
|
||||||
|
'last_modified': 'Unknown',
|
||||||
|
'available_formats': available_formats
|
||||||
|
})
|
||||||
|
except Exception as e:
|
||||||
|
logger.error(f"Error obteniendo archivos WebDAV: {e}")
|
||||||
|
|
||||||
|
# Obtener archivos locales
|
||||||
|
try:
|
||||||
|
if os.path.exists(LOCAL_DOWNLOADS_PATH):
|
||||||
|
local_files = []
|
||||||
|
for ext in AUDIO_EXTENSIONS:
|
||||||
|
local_files.extend(Path(LOCAL_DOWNLOADS_PATH).glob(f"*{ext}"))
|
||||||
|
|
||||||
|
for file_path in local_files:
|
||||||
|
stat = file_path.stat()
|
||||||
|
available_formats = self._get_available_formats(file_path.name)
|
||||||
|
# Considerar procesado si está en el registro O si tiene archivos de salida
|
||||||
|
is_processed = (file_path.name in self.processed_files or
|
||||||
|
any(available_formats.values()))
|
||||||
|
|
||||||
|
files.append({
|
||||||
|
'filename': file_path.name,
|
||||||
|
'path': str(file_path),
|
||||||
|
'source': 'local',
|
||||||
|
'processed': is_processed,
|
||||||
|
'size': self._format_size(stat.st_size),
|
||||||
|
'last_modified': datetime.fromtimestamp(stat.st_mtime).strftime('%Y-%m-%d %H:%M:%S'),
|
||||||
|
'available_formats': available_formats
|
||||||
|
})
|
||||||
|
except Exception as e:
|
||||||
|
logger.error(f"Error obteniendo archivos locales: {e}")
|
||||||
|
|
||||||
|
# Eliminar duplicados y ordenar
|
||||||
|
unique_files = {}
|
||||||
|
for file in files:
|
||||||
|
key = file['filename']
|
||||||
|
if key not in unique_files or file['source'] == 'webdav':
|
||||||
|
unique_files[key] = file
|
||||||
|
|
||||||
|
return sorted(unique_files.values(), key=lambda x: x['filename'])
|
||||||
|
|
||||||
|
def _get_available_formats(self, audio_filename: str) -> Dict[str, bool]:
|
||||||
|
"""Verificar qué formatos de salida existen para un archivo de audio"""
|
||||||
|
# Obtener el nombre base sin extensión
|
||||||
|
base_name = Path(audio_filename).stem
|
||||||
|
|
||||||
|
# Extensiones a verificar
|
||||||
|
formats = {
|
||||||
|
'txt': False,
|
||||||
|
'md': False,
|
||||||
|
'pdf': False,
|
||||||
|
'docx': False
|
||||||
|
}
|
||||||
|
|
||||||
|
# Verificar en directorio local y resumenes_docx
|
||||||
|
directories_to_check = [LOCAL_DOWNLOADS_PATH, './resumenes_docx']
|
||||||
|
|
||||||
|
for directory in directories_to_check:
|
||||||
|
if not os.path.exists(directory):
|
||||||
|
continue
|
||||||
|
|
||||||
|
for ext in formats.keys():
|
||||||
|
# Buscar variaciones del nombre del archivo
|
||||||
|
name_variants = [
|
||||||
|
base_name, # Nombre exacto
|
||||||
|
f"{base_name}_unificado", # Con sufijo _unificado
|
||||||
|
f"{base_name.replace(' ', '_')}", # Espacios reemplazados por guiones bajos
|
||||||
|
f"{base_name.replace(' ', '_')}_unificado", # Ambas variaciones
|
||||||
|
]
|
||||||
|
|
||||||
|
# También verificar variantes con espacios originales pero _unificado
|
||||||
|
if ' ' in base_name:
|
||||||
|
name_variants.append(f"{base_name}_unificado")
|
||||||
|
|
||||||
|
# Para cada variante, verificar si existe el archivo
|
||||||
|
for name_variant in name_variants:
|
||||||
|
file_path = os.path.join(directory, f"{name_variant}.{ext}")
|
||||||
|
if os.path.exists(file_path):
|
||||||
|
formats[ext] = True
|
||||||
|
break # Encontrado, pasar al siguiente formato
|
||||||
|
|
||||||
|
return formats
|
||||||
|
|
||||||
|
def _format_size(self, size_bytes: int) -> str:
|
||||||
|
"""Formatear tamaño de archivo"""
|
||||||
|
for unit in ['B', 'KB', 'MB', 'GB']:
|
||||||
|
if size_bytes < 1024.0:
|
||||||
|
return f"{size_bytes:.1f} {unit}"
|
||||||
|
size_bytes /= 1024.0
|
||||||
|
return f"{size_bytes:.1f} TB"
|
||||||
|
|
||||||
|
def reprocess_file(self, file_path: str, source: str) -> Dict[str, Any]:
|
||||||
|
"""Reprocesar un archivo específico"""
|
||||||
|
try:
|
||||||
|
# Verificar formatos existentes antes de reprocesar
|
||||||
|
filename = os.path.basename(file_path)
|
||||||
|
existing_formats = self._get_available_formats(filename)
|
||||||
|
has_existing_files = any(existing_formats.values())
|
||||||
|
|
||||||
|
if source == 'webdav':
|
||||||
|
# Para archivos WebDAV, llamar directamente a process_audio_file
|
||||||
|
logger.info(f"Iniciando reprocesamiento de WebDAV: {file_path}")
|
||||||
|
process_audio_file(file_path)
|
||||||
|
else:
|
||||||
|
# Para archivos locales, procesar directamente
|
||||||
|
logger.info(f"Iniciando reprocesamiento local: {file_path}")
|
||||||
|
# Aquí podrías agregar lógica adicional para archivos locales
|
||||||
|
|
||||||
|
return {
|
||||||
|
'success': True,
|
||||||
|
'message': f"Archivo {os.path.basename(file_path)} enviado a reprocesamiento",
|
||||||
|
'had_existing_files': has_existing_files,
|
||||||
|
'existing_formats': existing_formats
|
||||||
|
}
|
||||||
|
except Exception as e:
|
||||||
|
logger.error(f"Error reprocesando {file_path}: {e}")
|
||||||
|
return {
|
||||||
|
'success': False,
|
||||||
|
'message': f"Error: {str(e)}"
|
||||||
|
}
|
||||||
|
|
||||||
|
def mark_as_unprocessed(self, file_path: str) -> bool:
|
||||||
|
"""Marcar archivo como no procesado para forzar reprocesamiento"""
|
||||||
|
try:
|
||||||
|
# Eliminar del registro de procesados
|
||||||
|
processed_files = load_processed_files()
|
||||||
|
normalized_path = normalize_remote_path(file_path)
|
||||||
|
base_name = os.path.basename(normalized_path)
|
||||||
|
|
||||||
|
# Crear nuevo registro sin este archivo
|
||||||
|
temp_path = PROCESSED_FILES_PATH + '.temp'
|
||||||
|
with open(temp_path, 'w', encoding='utf-8') as f:
|
||||||
|
for line in open(PROCESSED_FILES_PATH, 'r', encoding='utf-8'):
|
||||||
|
if (line.strip() != normalized_path and
|
||||||
|
os.path.basename(line.strip()) != base_name and
|
||||||
|
line.strip() != file_path):
|
||||||
|
f.write(line)
|
||||||
|
|
||||||
|
# Reemplazar archivo original
|
||||||
|
os.replace(temp_path, PROCESSED_FILES_PATH)
|
||||||
|
self.load_processed_files() # Recargar
|
||||||
|
|
||||||
|
return True
|
||||||
|
except Exception as e:
|
||||||
|
logger.error(f"Error marcando como no procesado {file_path}: {e}")
|
||||||
|
return False
|
||||||
|
|
||||||
|
# Instancia global del gestor de archivos
|
||||||
|
file_manager = FileManager()
|
||||||
|
|
||||||
|
@app.route('/')
|
||||||
|
def index():
|
||||||
|
"""Página principal del dashboard"""
|
||||||
|
return render_template('index.html')
|
||||||
|
|
||||||
|
@app.route('/api/files')
|
||||||
|
def get_files():
|
||||||
|
"""API endpoint para obtener lista de archivos"""
|
||||||
|
try:
|
||||||
|
files = file_manager.get_audio_files()
|
||||||
|
return jsonify({
|
||||||
|
'success': True,
|
||||||
|
'files': files,
|
||||||
|
'total': len(files),
|
||||||
|
'processed': sum(1 for f in files if f['processed']),
|
||||||
|
'pending': sum(1 for f in files if not f['processed'])
|
||||||
|
})
|
||||||
|
except Exception as e:
|
||||||
|
logger.error(f"Error obteniendo archivos: {e}")
|
||||||
|
return jsonify({
|
||||||
|
'success': False,
|
||||||
|
'message': f"Error: {str(e)}"
|
||||||
|
}), 500
|
||||||
|
|
||||||
|
@app.route('/api/reprocess', methods=['POST'])
|
||||||
|
def reprocess_file():
|
||||||
|
"""API endpoint para reprocesar un archivo"""
|
||||||
|
try:
|
||||||
|
data = request.get_json()
|
||||||
|
file_path = data.get('path')
|
||||||
|
source = data.get('source', 'local')
|
||||||
|
|
||||||
|
if not file_path:
|
||||||
|
return jsonify({
|
||||||
|
'success': False,
|
||||||
|
'message': "Path del archivo es requerido"
|
||||||
|
}), 400
|
||||||
|
|
||||||
|
result = file_manager.reprocess_file(file_path, source)
|
||||||
|
return jsonify(result)
|
||||||
|
|
||||||
|
except Exception as e:
|
||||||
|
logger.error(f"Error en endpoint reprocesar: {e}")
|
||||||
|
return jsonify({
|
||||||
|
'success': False,
|
||||||
|
'message': f"Error: {str(e)}"
|
||||||
|
}), 500
|
||||||
|
|
||||||
|
@app.route('/api/mark-unprocessed', methods=['POST'])
|
||||||
|
def mark_unprocessed():
|
||||||
|
"""API endpoint para marcar archivo como no procesado"""
|
||||||
|
try:
|
||||||
|
data = request.get_json()
|
||||||
|
file_path = data.get('path')
|
||||||
|
|
||||||
|
if not file_path:
|
||||||
|
return jsonify({
|
||||||
|
'success': False,
|
||||||
|
'message': "Path del archivo es requerido"
|
||||||
|
}), 400
|
||||||
|
|
||||||
|
success = file_manager.mark_as_unprocessed(file_path)
|
||||||
|
|
||||||
|
if success:
|
||||||
|
return jsonify({
|
||||||
|
'success': True,
|
||||||
|
'message': "Archivo marcado como no procesado"
|
||||||
|
})
|
||||||
|
else:
|
||||||
|
return jsonify({
|
||||||
|
'success': False,
|
||||||
|
'message': "No se pudo marcar como no procesado"
|
||||||
|
}), 500
|
||||||
|
|
||||||
|
except Exception as e:
|
||||||
|
logger.error(f"Error marcando como no procesado: {e}")
|
||||||
|
return jsonify({
|
||||||
|
'success': False,
|
||||||
|
'message': f"Error: {str(e)}"
|
||||||
|
}), 500
|
||||||
|
|
||||||
|
@app.route('/api/refresh')
|
||||||
|
def refresh_files():
|
||||||
|
"""API endpoint para refrescar lista de archivos"""
|
||||||
|
try:
|
||||||
|
file_manager.load_processed_files()
|
||||||
|
files = file_manager.get_audio_files()
|
||||||
|
return jsonify({
|
||||||
|
'success': True,
|
||||||
|
'message': "Lista de archivos actualizada",
|
||||||
|
'files': files
|
||||||
|
})
|
||||||
|
except Exception as e:
|
||||||
|
logger.error(f"Error refrescando archivos: {e}")
|
||||||
|
return jsonify({
|
||||||
|
'success': False,
|
||||||
|
'message': f"Error: {str(e)}"
|
||||||
|
}), 500
|
||||||
|
|
||||||
|
@app.route('/downloads/find-file')
|
||||||
|
def find_and_download_file():
|
||||||
|
"""Buscar y servir archivos con diferentes variaciones de nombre"""
|
||||||
|
try:
|
||||||
|
from flask import request
|
||||||
|
filename = request.args.get('filename')
|
||||||
|
ext = request.args.get('ext')
|
||||||
|
|
||||||
|
if not filename or not ext:
|
||||||
|
return jsonify({'error': 'Missing parameters'}), 400
|
||||||
|
|
||||||
|
# Generar posibles variaciones del nombre del archivo
|
||||||
|
from pathlib import Path
|
||||||
|
base_name = Path(filename).stem
|
||||||
|
|
||||||
|
possible_names = [
|
||||||
|
f"{base_name}.{ext}",
|
||||||
|
f"{base_name}_unificado.{ext}",
|
||||||
|
f"{base_name.replace(' ', '_')}.{ext}",
|
||||||
|
f"{base_name.replace(' ', '_')}_unificado.{ext}"
|
||||||
|
]
|
||||||
|
|
||||||
|
# Directorios donde buscar
|
||||||
|
directories = [LOCAL_DOWNLOADS_PATH, './resumenes_docx']
|
||||||
|
|
||||||
|
# Intentar encontrar el archivo en cada directorio con cada variación
|
||||||
|
for directory in directories:
|
||||||
|
if not os.path.exists(directory):
|
||||||
|
continue
|
||||||
|
|
||||||
|
for name in possible_names:
|
||||||
|
file_path = os.path.join(directory, name)
|
||||||
|
if os.path.exists(file_path):
|
||||||
|
return send_from_directory(directory, name)
|
||||||
|
|
||||||
|
# Si no se encuentra el archivo
|
||||||
|
return jsonify({'error': 'File not found'}), 404
|
||||||
|
|
||||||
|
except Exception as e:
|
||||||
|
logger.error(f"Error buscando archivo: {e}")
|
||||||
|
return jsonify({'error': 'File not found'}), 404
|
||||||
|
|
||||||
|
@app.route('/downloads/<path:filename>')
|
||||||
|
def download_file(filename):
|
||||||
|
"""Servir archivos de descarga desde downloads o resumenes_docx"""
|
||||||
|
try:
|
||||||
|
# Primero intentar en downloads
|
||||||
|
try:
|
||||||
|
return send_from_directory(LOCAL_DOWNLOADS_PATH, filename)
|
||||||
|
except FileNotFoundError:
|
||||||
|
pass
|
||||||
|
|
||||||
|
# Si no se encuentra en downloads, intentar en resumenes_docx
|
||||||
|
try:
|
||||||
|
return send_from_directory('./resumenes_docx', filename)
|
||||||
|
except FileNotFoundError:
|
||||||
|
pass
|
||||||
|
|
||||||
|
# Si no se encuentra en ninguna ubicación
|
||||||
|
return jsonify({'error': 'File not found'}), 404
|
||||||
|
|
||||||
|
except Exception as e:
|
||||||
|
logger.error(f"Error sirviendo archivo {filename}: {e}")
|
||||||
|
return jsonify({'error': 'File not found'}), 404
|
||||||
|
|
||||||
|
@app.route('/health')
|
||||||
|
def health_check():
|
||||||
|
"""Health check endpoint"""
|
||||||
|
return jsonify({
|
||||||
|
'status': 'healthy',
|
||||||
|
'timestamp': datetime.now().isoformat(),
|
||||||
|
'processed_files_count': len(file_manager.processed_files)
|
||||||
|
})
|
||||||
|
|
||||||
|
if __name__ == '__main__':
|
||||||
|
logger.info("🚀 Iniciando Dashboard de Gestión de Audio")
|
||||||
|
logger.info(f"📁 Carpeta de descargas: {LOCAL_DOWNLOADS_PATH}")
|
||||||
|
logger.info(f"📊 Servidor web en http://localhost:5000")
|
||||||
|
|
||||||
|
try:
|
||||||
|
app.run(
|
||||||
|
host='0.0.0.0',
|
||||||
|
port=5000,
|
||||||
|
debug=False,
|
||||||
|
threaded=True,
|
||||||
|
use_reloader=False # Evitar problemas con threading
|
||||||
|
)
|
||||||
|
except KeyboardInterrupt:
|
||||||
|
logger.info("🛑 Dashboard detenido por el usuario")
|
||||||
|
except Exception as e:
|
||||||
|
logger.error(f"❌ Error en dashboard: {e}")
|
||||||
|
raise
|
||||||
86
docker-compose.yml
Executable file
86
docker-compose.yml
Executable file
@@ -0,0 +1,86 @@
|
|||||||
|
version: '3.8'
|
||||||
|
|
||||||
|
services:
|
||||||
|
app:
|
||||||
|
build:
|
||||||
|
context: .
|
||||||
|
dockerfile: Dockerfile
|
||||||
|
container_name: nextcloud_ai_app
|
||||||
|
volumes:
|
||||||
|
- ./downloads:/app/downloads
|
||||||
|
- ./resumenes_docx:/app/resumenes_docx
|
||||||
|
env_file:
|
||||||
|
- .env
|
||||||
|
environment:
|
||||||
|
- NVIDIA_VISIBLE_DEVICES=all
|
||||||
|
- OLLAMA_HOST=http://ollama:11434
|
||||||
|
- CLAUDE_DANGEROUSLY_SKIP_PERMISSIONS=1
|
||||||
|
deploy:
|
||||||
|
resources:
|
||||||
|
reservations:
|
||||||
|
devices:
|
||||||
|
- driver: nvidia
|
||||||
|
count: 1
|
||||||
|
capabilities: [gpu]
|
||||||
|
depends_on:
|
||||||
|
- ollama
|
||||||
|
restart: always
|
||||||
|
|
||||||
|
ollama:
|
||||||
|
build:
|
||||||
|
context: .
|
||||||
|
dockerfile: Dockerfile
|
||||||
|
container_name: ollama_server
|
||||||
|
volumes:
|
||||||
|
- ./ollama_data:/root/.ollama
|
||||||
|
ports:
|
||||||
|
- "11434:11434"
|
||||||
|
deploy:
|
||||||
|
resources:
|
||||||
|
reservations:
|
||||||
|
devices:
|
||||||
|
- driver: nvidia
|
||||||
|
count: 1
|
||||||
|
capabilities: [gpu]
|
||||||
|
restart: always
|
||||||
|
|
||||||
|
dashboard:
|
||||||
|
build:
|
||||||
|
context: .
|
||||||
|
dockerfile: Dockerfile.dashboard
|
||||||
|
container_name: audio_dashboard
|
||||||
|
volumes:
|
||||||
|
- ./downloads:/app/downloads
|
||||||
|
- ./templates:/app/templates
|
||||||
|
- ./processed_files.txt:/app/processed_files.txt
|
||||||
|
- ./.main_service.lock:/app/.main_service.lock
|
||||||
|
env_file:
|
||||||
|
- .env
|
||||||
|
environment:
|
||||||
|
- DASHBOARD_SECRET_KEY=${DASHBOARD_SECRET_KEY:-dashboard-secret-key-change-me}
|
||||||
|
- NVIDIA_VISIBLE_DEVICES=all
|
||||||
|
- ANTHROPIC_BASE_URL=${ANTHROPIC_BASE_URL:-https://api.z.ai/api/anthropic}
|
||||||
|
- ANTHROPIC_AUTH_TOKEN=${ANTHROPIC_AUTH_TOKEN}
|
||||||
|
ports:
|
||||||
|
- "5000:5000"
|
||||||
|
depends_on:
|
||||||
|
- app
|
||||||
|
restart: always
|
||||||
|
|
||||||
|
filebrowser:
|
||||||
|
image: filebrowser/filebrowser
|
||||||
|
container_name: downloads_filebrowser
|
||||||
|
volumes:
|
||||||
|
- ./downloads:/srv
|
||||||
|
- ./filebrowser_config:/config
|
||||||
|
command: [
|
||||||
|
"--address", "0.0.0.0",
|
||||||
|
"--port", "8080",
|
||||||
|
"--root", "/srv",
|
||||||
|
"--database", "/config/filebrowser.db",
|
||||||
|
"--username", "ren",
|
||||||
|
"--password", "$$2b$$10$$KbFwEuIb3g26kYCxVzl0Ju81OxhK1KHQNUZCLAPDg298XQBOvhoHS"
|
||||||
|
]
|
||||||
|
ports:
|
||||||
|
- "8080:8080"
|
||||||
|
restart: always
|
||||||
8
filebrowser_config/settings.json
Normal file
8
filebrowser_config/settings.json
Normal file
@@ -0,0 +1,8 @@
|
|||||||
|
{
|
||||||
|
"port": 80,
|
||||||
|
"baseURL": "",
|
||||||
|
"address": "",
|
||||||
|
"log": "stdout",
|
||||||
|
"database": "/database/filebrowser.db",
|
||||||
|
"root": "/srv"
|
||||||
|
}
|
||||||
18
requirements-dashboard.txt
Normal file
18
requirements-dashboard.txt
Normal file
@@ -0,0 +1,18 @@
|
|||||||
|
Flask==2.3.3
|
||||||
|
Flask-CORS==4.0.0
|
||||||
|
requests==2.31.0
|
||||||
|
webdavclient3
|
||||||
|
opencv-python-headless
|
||||||
|
python-dotenv
|
||||||
|
easyocr
|
||||||
|
pytesseract
|
||||||
|
Pillow
|
||||||
|
python-docx
|
||||||
|
openai
|
||||||
|
ollama
|
||||||
|
pdf2image
|
||||||
|
transformers
|
||||||
|
pypdf
|
||||||
|
reportlab
|
||||||
|
torch
|
||||||
|
numpy
|
||||||
17
requirements.txt
Executable file
17
requirements.txt
Executable file
@@ -0,0 +1,17 @@
|
|||||||
|
webdavclient3
|
||||||
|
requests
|
||||||
|
torch
|
||||||
|
openai-whisper
|
||||||
|
pytesseract
|
||||||
|
Pillow
|
||||||
|
python-docx
|
||||||
|
openai
|
||||||
|
ollama
|
||||||
|
pdf2image
|
||||||
|
easyocr
|
||||||
|
opencv-python-headless
|
||||||
|
numpy
|
||||||
|
transformers
|
||||||
|
pypdf
|
||||||
|
python-dotenv
|
||||||
|
reportlab
|
||||||
158
start_with_info.py
Executable file
158
start_with_info.py
Executable file
@@ -0,0 +1,158 @@
|
|||||||
|
#!/usr/bin/env python3
|
||||||
|
"""
|
||||||
|
Script mejorado para iniciar el servicio completo con mejor información
|
||||||
|
"""
|
||||||
|
|
||||||
|
import sys
|
||||||
|
import os
|
||||||
|
import time
|
||||||
|
|
||||||
|
# Añadir path
|
||||||
|
sys.path.append('/home/ren/cbc')
|
||||||
|
|
||||||
|
def print_banner():
|
||||||
|
"""Muestra banner de inicio"""
|
||||||
|
print("\n" + "=" * 70)
|
||||||
|
print("🚀 NEXTCLOUD AI SERVICE - DASHBOARD INTEGRADO")
|
||||||
|
print("=" * 70)
|
||||||
|
print()
|
||||||
|
|
||||||
|
def print_step(step, message):
|
||||||
|
"""Imprime un paso con formato"""
|
||||||
|
print(f" [{step}] {message}")
|
||||||
|
|
||||||
|
def check_dependencies():
|
||||||
|
"""Verifica dependencias"""
|
||||||
|
print_step("1", "Verificando dependencias...")
|
||||||
|
|
||||||
|
try:
|
||||||
|
import flask
|
||||||
|
print_step(" ✓", f"Flask {flask.__version__}")
|
||||||
|
except ImportError:
|
||||||
|
print_step(" ✗", "Flask no está instalado")
|
||||||
|
print("\n 💡 Instalar: pip3 install flask flask-cors")
|
||||||
|
return False
|
||||||
|
|
||||||
|
try:
|
||||||
|
import flask_cors
|
||||||
|
print_step(" ✓", "Flask-CORS")
|
||||||
|
except ImportError:
|
||||||
|
print_step(" ✗", "Flask-CORS no está instalado")
|
||||||
|
print("\n 💡 Instalar: pip3 install flask-cors")
|
||||||
|
return False
|
||||||
|
|
||||||
|
return True
|
||||||
|
|
||||||
|
def check_dashboard():
|
||||||
|
"""Verifica dashboard"""
|
||||||
|
print_step("2", "Verificando dashboard...")
|
||||||
|
|
||||||
|
try:
|
||||||
|
import dashboard
|
||||||
|
print_step(" ✓", "Dashboard importado correctamente")
|
||||||
|
return True
|
||||||
|
except Exception as e:
|
||||||
|
print_step(" ✗", f"Error importando dashboard: {e}")
|
||||||
|
return False
|
||||||
|
|
||||||
|
def check_main():
|
||||||
|
"""Verifica main.py"""
|
||||||
|
print_step("3", "Verificando servicio principal...")
|
||||||
|
|
||||||
|
try:
|
||||||
|
import main
|
||||||
|
print_step(" ✓", "Servicio principal importado")
|
||||||
|
return True
|
||||||
|
except Exception as e:
|
||||||
|
print_step(" ✗", f"Error importando servicio principal: {e}")
|
||||||
|
return False
|
||||||
|
|
||||||
|
def start_dashboard():
|
||||||
|
"""Inicia dashboard en hilo separado"""
|
||||||
|
print_step("4", "Iniciando dashboard en hilo separado...")
|
||||||
|
|
||||||
|
try:
|
||||||
|
import dashboard
|
||||||
|
import threading
|
||||||
|
|
||||||
|
def run_dashboard():
|
||||||
|
"""Función para ejecutar dashboard"""
|
||||||
|
print("\n 🌐 Iniciando servidor Flask...")
|
||||||
|
dashboard.app.run(
|
||||||
|
host='0.0.0.0',
|
||||||
|
port=5000,
|
||||||
|
debug=False,
|
||||||
|
threaded=True,
|
||||||
|
use_reloader=False
|
||||||
|
)
|
||||||
|
|
||||||
|
# Crear hilo
|
||||||
|
dashboard_thread = threading.Thread(target=run_dashboard, daemon=True)
|
||||||
|
dashboard_thread.start()
|
||||||
|
|
||||||
|
# Dar tiempo para que inicie
|
||||||
|
time.sleep(2)
|
||||||
|
|
||||||
|
print_step(" ✓", "Dashboard iniciado")
|
||||||
|
print("\n 📱 Dashboard disponible en:")
|
||||||
|
print(" http://localhost:5000")
|
||||||
|
print()
|
||||||
|
|
||||||
|
return dashboard_thread
|
||||||
|
|
||||||
|
except Exception as e:
|
||||||
|
print_step(" ✗", f"Error iniciando dashboard: {e}")
|
||||||
|
import traceback
|
||||||
|
traceback.print_exc()
|
||||||
|
return None
|
||||||
|
|
||||||
|
def start_main_service():
|
||||||
|
"""Inicia servicio principal"""
|
||||||
|
print_step("5", "Iniciando servicio principal...")
|
||||||
|
|
||||||
|
try:
|
||||||
|
import main
|
||||||
|
|
||||||
|
print("\n ⏳ Iniciando bucle principal...")
|
||||||
|
print(" 📊 El servicio procesará archivos automáticamente")
|
||||||
|
print(" ⏹️ Para detener: Ctrl+C")
|
||||||
|
print()
|
||||||
|
print("=" * 70)
|
||||||
|
|
||||||
|
# Iniciar servicio
|
||||||
|
main.main()
|
||||||
|
|
||||||
|
except KeyboardInterrupt:
|
||||||
|
print("\n\n🛑 Servicio detenido por el usuario")
|
||||||
|
except Exception as e:
|
||||||
|
print(f"\n\n❌ Error en servicio principal: {e}")
|
||||||
|
import traceback
|
||||||
|
traceback.print_exc()
|
||||||
|
return False
|
||||||
|
|
||||||
|
return True
|
||||||
|
|
||||||
|
def main():
|
||||||
|
"""Función principal"""
|
||||||
|
print_banner()
|
||||||
|
|
||||||
|
# Verificar todo
|
||||||
|
if not check_dependencies():
|
||||||
|
sys.exit(1)
|
||||||
|
|
||||||
|
if not check_dashboard():
|
||||||
|
sys.exit(1)
|
||||||
|
|
||||||
|
if not check_main():
|
||||||
|
sys.exit(1)
|
||||||
|
|
||||||
|
# Iniciar dashboard
|
||||||
|
dashboard_thread = start_dashboard()
|
||||||
|
if not dashboard_thread:
|
||||||
|
print("\n⚠️ Continuando sin dashboard...")
|
||||||
|
|
||||||
|
# Iniciar servicio principal
|
||||||
|
start_main_service()
|
||||||
|
|
||||||
|
if __name__ == '__main__':
|
||||||
|
main()
|
||||||
1586
templates/index.html
Normal file
1586
templates/index.html
Normal file
File diff suppressed because it is too large
Load Diff
Reference in New Issue
Block a user