feat(r5): dictée — audio local (faster-whisper) → note → corpus (ADR-004 §5)

Écran Voix R5 (maquetté, jamais construit) implémenté sur décision du
référent : open-source et local, pas d'API externe.

- apps/ai : faster-whisper (CTranslate2, CPU, MIT) opt-in
  (AI_TRANSCRIPTION=off|locale|deterministe, défaut off) ; endpoint
  /internal/transcrire — l'audio ne survit JAMAIS à l'appel (fichier
  temporaire supprimé quoi qu'il arrive) ; indexer_bilans inclut
  désormais InterventionReport.note anonymisée (champ existant depuis
  R2, jamais eu d'écran jusqu'ici) ; 29 pytest.
- Contrat (77 opérations) : POST /assistant/transcribe (multipart).
- API : proxy multipart vers siop2-ai (WORK_ORDERS.edit — même droit
  que la saisie du bilan) ; 2 tests e2e (80 tests API au total).
- Mobile : expo-audio + expo-file-system, bouton dicter/terminer sur
  l'écran de clôture, purge locale après transcription, « Joindre la
  description à l'OT » (corrige un bug latent : enfilerBilan ignorait
  silencieusement les mises à jour de note).
- Docker : siop2-ai embarque le modèle Whisper au build (1,54→2,19 Go),
  construit et vérifié (transcription réelle en conteneur, non-root).
- Vérifié réellement : transcription fidèle (voix de synthèse
  française) en direct, bout en bout via l'API, dans le conteneur
  Docker construit, et chaîne corpus complète (note → clôture →
  réindexation → recherche sémantique).
- Base de dev locale réinitialisée avec accord explicite du référent
  (prisma migrate reset, bloqué par défaut pour un agent IA) après
  pollution par les tests manuels de la recette terrain précédente.

Reste : test tactile sur iPhone physique (bouton dicter) — bloqué par
une connexion USB qui ne s'est pas rétablie malgré câble/port/
redémarrage essayés à plusieurs reprises, reporté comme la recette
Android.

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
This commit is contained in:
pr-daaif
2026-07-22 11:55:47 +01:00
parent 0730bf9dad
commit 59ed6f3952
28 changed files with 782 additions and 20 deletions

View File

@@ -1,4 +1,13 @@
import { Body, Controller, HttpCode, Post } from '@nestjs/common';
import {
BadRequestException,
Body,
Controller,
HttpCode,
Post,
UploadedFile,
UseInterceptors,
} from '@nestjs/common';
import { FileInterceptor } from '@nestjs/platform-express';
import {
AssistantAskSchema,
SuggestBilanSchema,
@@ -9,6 +18,10 @@ import { ZodValidationPipe } from '../common/zod-validation.pipe';
import { RequirePermission } from '../permissions/require-permission.decorator';
import { AssistantService } from './assistant.service';
// Dictée (D5) : un enregistrement de quelques dizaines de secondes tient
// largement dans 15 Mo — pas besoin du plafond 20 Mo des documents R3.
const AUDIO_MAX_BYTES = 15 * 1024 * 1024;
@Controller('assistant')
export class AssistantController {
constructor(private readonly assistant: AssistantService) {}
@@ -36,4 +49,18 @@ export class AssistantController {
suggest(@Body(new ZodValidationPipe(SuggestBilanSchema)) body: SuggestBilan) {
return this.assistant.suggestBilan(body);
}
/** Dictée (D5) — même droit que la saisie du bilan qu'elle alimente. */
@Post('transcribe')
@HttpCode(200)
@RequirePermission('WORK_ORDERS', 'edit')
@UseInterceptors(FileInterceptor('file', { limits: { fileSize: AUDIO_MAX_BYTES } }))
transcribe(@UploadedFile() file: Express.Multer.File | undefined) {
if (!file) throw new BadRequestException('Aucun enregistrement reçu (champ « file »)');
return this.assistant.transcribe({
buffer: file.buffer,
originalName: file.originalname,
contentType: file.mimetype,
});
}
}

View File

@@ -6,6 +6,7 @@ import type {
BilanSuggestionsResponse,
ReindexResult,
SuggestBilan,
TranscriptionResult,
} from '@siop/shared';
import { loadEnv } from '../config/env';
@@ -97,6 +98,43 @@ export class AssistantService {
};
}
/** Dictée (R5 D5, opt-in) : l'audio ne transite qu'une fois vers `siop2-ai`
* — jamais écrit ni sur disque ni en base ici, transmis tel quel en
* multipart. Le service IA l'efface aussitôt transcrit (transcription.py). */
async transcribe(audio: {
buffer: Buffer;
originalName: string;
contentType: string;
}): Promise<TranscriptionResult> {
const form = new FormData();
form.append(
'fichier',
new Blob([new Uint8Array(audio.buffer)], { type: audio.contentType }),
audio.originalName,
);
let reponse: Response;
try {
reponse = await fetch(`${this.env.AI_SERVICE_URL}/internal/transcrire`, {
method: 'POST',
headers: { 'X-Service-Token': this.env.AI_SERVICE_TOKEN },
body: form,
});
} catch {
this.journal.warn('Service IA injoignable (/internal/transcrire)');
throw new ServiceUnavailableException(
'Dictée indisponible pour le moment — réessayez dans un instant.',
);
}
if (!reponse.ok) {
this.journal.warn(`Service IA a refusé /internal/transcrire (${reponse.status})`);
throw new ServiceUnavailableException(
'Dictée indisponible pour le moment — réessayez dans un instant.',
);
}
const brut = (await reponse.json()) as { texte: string };
return { text: brut.texte };
}
async suggestBilan(dto: SuggestBilan): Promise<BilanSuggestionsResponse> {
const brut = await this.appeler<{
suggestions: {

View File

@@ -49,6 +49,8 @@ const REPONSE_REINDEX = {
extraits: 180,
};
const REPONSE_TRANSCRIRE = { texte: 'Porte cabine qui rebondit, cellule encrassée.' };
describe('Assistant (e2e — stub du service IA)', () => {
let app: INestApplication;
let stub: Server;
@@ -71,6 +73,7 @@ describe('Assistant (e2e — stub du service IA)', () => {
if (req.url === '/internal/ask') res.end(JSON.stringify(REPONSE_ASK));
else if (req.url === '/internal/suggest') res.end(JSON.stringify(REPONSE_SUGGEST));
else if (req.url === '/internal/reindex') res.end(JSON.stringify(REPONSE_REINDEX));
else if (req.url === '/internal/transcrire') res.end(JSON.stringify(REPONSE_TRANSCRIRE));
else {
res.statusCode = 404;
res.end('{}');
@@ -169,6 +172,27 @@ describe('Assistant (e2e — stub du service IA)', () => {
await http().post('/assistant/reindex').set(auth(ahmed)).expect(403);
});
it('transcribe : dictée (D5) — texte transcrit, réservé à qui édite les OT', async () => {
const res = await http()
.post('/assistant/transcribe')
.set(auth(ahmed))
.attach('file', Buffer.from('faux-audio'), { filename: 'note.m4a', contentType: 'audio/m4a' })
.expect(200);
expect(res.body).toEqual({ text: 'Porte cabine qui rebondit, cellule encrassée.' });
expect(requetesRecues.at(-1)!.url).toBe('/internal/transcrire');
expect(requetesRecues.at(-1)!.jeton).toBe('jeton-de-test');
// Karim (Demandeur) n'a pas WORK_ORDERS.edit
await http()
.post('/assistant/transcribe')
.set(auth(karim))
.attach('file', Buffer.from('faux-audio'), { filename: 'note.m4a', contentType: 'audio/m4a' })
.expect(403);
});
it('transcribe : refuse proprement sans fichier joint', async () => {
await http().post('/assistant/transcribe').set(auth(ahmed)).expect(400);
});
it('question trop courte : 400 avant tout appel au service IA', async () => {
const avant = requetesRecues.length;
await http().post('/assistant/ask').set(auth(ahmed)).send({ question: 'ab' }).expect(400);