mirror of
https://github.com/siop-spelev/siop2.git
synced 2026-08-08 12:41:54 +00:00
feat(r5): dictée — audio local (faster-whisper) → note → corpus (ADR-004 §5)
Écran Voix R5 (maquetté, jamais construit) implémenté sur décision du référent : open-source et local, pas d'API externe. - apps/ai : faster-whisper (CTranslate2, CPU, MIT) opt-in (AI_TRANSCRIPTION=off|locale|deterministe, défaut off) ; endpoint /internal/transcrire — l'audio ne survit JAMAIS à l'appel (fichier temporaire supprimé quoi qu'il arrive) ; indexer_bilans inclut désormais InterventionReport.note anonymisée (champ existant depuis R2, jamais eu d'écran jusqu'ici) ; 29 pytest. - Contrat (77 opérations) : POST /assistant/transcribe (multipart). - API : proxy multipart vers siop2-ai (WORK_ORDERS.edit — même droit que la saisie du bilan) ; 2 tests e2e (80 tests API au total). - Mobile : expo-audio + expo-file-system, bouton dicter/terminer sur l'écran de clôture, purge locale après transcription, « Joindre la description à l'OT » (corrige un bug latent : enfilerBilan ignorait silencieusement les mises à jour de note). - Docker : siop2-ai embarque le modèle Whisper au build (1,54→2,19 Go), construit et vérifié (transcription réelle en conteneur, non-root). - Vérifié réellement : transcription fidèle (voix de synthèse française) en direct, bout en bout via l'API, dans le conteneur Docker construit, et chaîne corpus complète (note → clôture → réindexation → recherche sémantique). - Base de dev locale réinitialisée avec accord explicite du référent (prisma migrate reset, bloqué par défaut pour un agent IA) après pollution par les tests manuels de la recette terrain précédente. Reste : test tactile sur iPhone physique (bouton dicter) — bloqué par une connexion USB qui ne s'est pas rétablie malgré câble/port/ redémarrage essayés à plusieurs reprises, reporté comme la recette Android. Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
This commit is contained in:
@@ -1,4 +1,13 @@
|
||||
import { Body, Controller, HttpCode, Post } from '@nestjs/common';
|
||||
import {
|
||||
BadRequestException,
|
||||
Body,
|
||||
Controller,
|
||||
HttpCode,
|
||||
Post,
|
||||
UploadedFile,
|
||||
UseInterceptors,
|
||||
} from '@nestjs/common';
|
||||
import { FileInterceptor } from '@nestjs/platform-express';
|
||||
import {
|
||||
AssistantAskSchema,
|
||||
SuggestBilanSchema,
|
||||
@@ -9,6 +18,10 @@ import { ZodValidationPipe } from '../common/zod-validation.pipe';
|
||||
import { RequirePermission } from '../permissions/require-permission.decorator';
|
||||
import { AssistantService } from './assistant.service';
|
||||
|
||||
// Dictée (D5) : un enregistrement de quelques dizaines de secondes tient
|
||||
// largement dans 15 Mo — pas besoin du plafond 20 Mo des documents R3.
|
||||
const AUDIO_MAX_BYTES = 15 * 1024 * 1024;
|
||||
|
||||
@Controller('assistant')
|
||||
export class AssistantController {
|
||||
constructor(private readonly assistant: AssistantService) {}
|
||||
@@ -36,4 +49,18 @@ export class AssistantController {
|
||||
suggest(@Body(new ZodValidationPipe(SuggestBilanSchema)) body: SuggestBilan) {
|
||||
return this.assistant.suggestBilan(body);
|
||||
}
|
||||
|
||||
/** Dictée (D5) — même droit que la saisie du bilan qu'elle alimente. */
|
||||
@Post('transcribe')
|
||||
@HttpCode(200)
|
||||
@RequirePermission('WORK_ORDERS', 'edit')
|
||||
@UseInterceptors(FileInterceptor('file', { limits: { fileSize: AUDIO_MAX_BYTES } }))
|
||||
transcribe(@UploadedFile() file: Express.Multer.File | undefined) {
|
||||
if (!file) throw new BadRequestException('Aucun enregistrement reçu (champ « file »)');
|
||||
return this.assistant.transcribe({
|
||||
buffer: file.buffer,
|
||||
originalName: file.originalname,
|
||||
contentType: file.mimetype,
|
||||
});
|
||||
}
|
||||
}
|
||||
|
||||
@@ -6,6 +6,7 @@ import type {
|
||||
BilanSuggestionsResponse,
|
||||
ReindexResult,
|
||||
SuggestBilan,
|
||||
TranscriptionResult,
|
||||
} from '@siop/shared';
|
||||
import { loadEnv } from '../config/env';
|
||||
|
||||
@@ -97,6 +98,43 @@ export class AssistantService {
|
||||
};
|
||||
}
|
||||
|
||||
/** Dictée (R5 D5, opt-in) : l'audio ne transite qu'une fois vers `siop2-ai`
|
||||
* — jamais écrit ni sur disque ni en base ici, transmis tel quel en
|
||||
* multipart. Le service IA l'efface aussitôt transcrit (transcription.py). */
|
||||
async transcribe(audio: {
|
||||
buffer: Buffer;
|
||||
originalName: string;
|
||||
contentType: string;
|
||||
}): Promise<TranscriptionResult> {
|
||||
const form = new FormData();
|
||||
form.append(
|
||||
'fichier',
|
||||
new Blob([new Uint8Array(audio.buffer)], { type: audio.contentType }),
|
||||
audio.originalName,
|
||||
);
|
||||
let reponse: Response;
|
||||
try {
|
||||
reponse = await fetch(`${this.env.AI_SERVICE_URL}/internal/transcrire`, {
|
||||
method: 'POST',
|
||||
headers: { 'X-Service-Token': this.env.AI_SERVICE_TOKEN },
|
||||
body: form,
|
||||
});
|
||||
} catch {
|
||||
this.journal.warn('Service IA injoignable (/internal/transcrire)');
|
||||
throw new ServiceUnavailableException(
|
||||
'Dictée indisponible pour le moment — réessayez dans un instant.',
|
||||
);
|
||||
}
|
||||
if (!reponse.ok) {
|
||||
this.journal.warn(`Service IA a refusé /internal/transcrire (${reponse.status})`);
|
||||
throw new ServiceUnavailableException(
|
||||
'Dictée indisponible pour le moment — réessayez dans un instant.',
|
||||
);
|
||||
}
|
||||
const brut = (await reponse.json()) as { texte: string };
|
||||
return { text: brut.texte };
|
||||
}
|
||||
|
||||
async suggestBilan(dto: SuggestBilan): Promise<BilanSuggestionsResponse> {
|
||||
const brut = await this.appeler<{
|
||||
suggestions: {
|
||||
|
||||
@@ -49,6 +49,8 @@ const REPONSE_REINDEX = {
|
||||
extraits: 180,
|
||||
};
|
||||
|
||||
const REPONSE_TRANSCRIRE = { texte: 'Porte cabine qui rebondit, cellule encrassée.' };
|
||||
|
||||
describe('Assistant (e2e — stub du service IA)', () => {
|
||||
let app: INestApplication;
|
||||
let stub: Server;
|
||||
@@ -71,6 +73,7 @@ describe('Assistant (e2e — stub du service IA)', () => {
|
||||
if (req.url === '/internal/ask') res.end(JSON.stringify(REPONSE_ASK));
|
||||
else if (req.url === '/internal/suggest') res.end(JSON.stringify(REPONSE_SUGGEST));
|
||||
else if (req.url === '/internal/reindex') res.end(JSON.stringify(REPONSE_REINDEX));
|
||||
else if (req.url === '/internal/transcrire') res.end(JSON.stringify(REPONSE_TRANSCRIRE));
|
||||
else {
|
||||
res.statusCode = 404;
|
||||
res.end('{}');
|
||||
@@ -169,6 +172,27 @@ describe('Assistant (e2e — stub du service IA)', () => {
|
||||
await http().post('/assistant/reindex').set(auth(ahmed)).expect(403);
|
||||
});
|
||||
|
||||
it('transcribe : dictée (D5) — texte transcrit, réservé à qui édite les OT', async () => {
|
||||
const res = await http()
|
||||
.post('/assistant/transcribe')
|
||||
.set(auth(ahmed))
|
||||
.attach('file', Buffer.from('faux-audio'), { filename: 'note.m4a', contentType: 'audio/m4a' })
|
||||
.expect(200);
|
||||
expect(res.body).toEqual({ text: 'Porte cabine qui rebondit, cellule encrassée.' });
|
||||
expect(requetesRecues.at(-1)!.url).toBe('/internal/transcrire');
|
||||
expect(requetesRecues.at(-1)!.jeton).toBe('jeton-de-test');
|
||||
// Karim (Demandeur) n'a pas WORK_ORDERS.edit
|
||||
await http()
|
||||
.post('/assistant/transcribe')
|
||||
.set(auth(karim))
|
||||
.attach('file', Buffer.from('faux-audio'), { filename: 'note.m4a', contentType: 'audio/m4a' })
|
||||
.expect(403);
|
||||
});
|
||||
|
||||
it('transcribe : refuse proprement sans fichier joint', async () => {
|
||||
await http().post('/assistant/transcribe').set(auth(ahmed)).expect(400);
|
||||
});
|
||||
|
||||
it('question trop courte : 400 avant tout appel au service IA', async () => {
|
||||
const avant = requetesRecues.length;
|
||||
await http().post('/assistant/ask').set(auth(ahmed)).send({ question: 'ab' }).expect(400);
|
||||
|
||||
Reference in New Issue
Block a user