aziz/siop2
1
0
Fork 0
mirror of https://github.com/siop-spelev/siop2.git synced 2026-08-08 12:41:54 +00:00
Code Issues Packages Projects Releases Wiki Activity

feat(r5): dictée — audio local (faster-whisper) → note → corpus (ADR-004 §5)

Browse Source 
Écran Voix R5 (maquetté, jamais construit) implémenté sur décision du
référent : open-source et local, pas d'API externe.

- apps/ai : faster-whisper (CTranslate2, CPU, MIT) opt-in
  (AI_TRANSCRIPTION=off|locale|deterministe, défaut off) ; endpoint
  /internal/transcrire — l'audio ne survit JAMAIS à l'appel (fichier
  temporaire supprimé quoi qu'il arrive) ; indexer_bilans inclut
  désormais InterventionReport.note anonymisée (champ existant depuis
  R2, jamais eu d'écran jusqu'ici) ; 29 pytest.
- Contrat (77 opérations) : POST /assistant/transcribe (multipart).
- API : proxy multipart vers siop2-ai (WORK_ORDERS.edit — même droit
  que la saisie du bilan) ; 2 tests e2e (80 tests API au total).
- Mobile : expo-audio + expo-file-system, bouton dicter/terminer sur
  l'écran de clôture, purge locale après transcription, « Joindre la
  description à l'OT » (corrige un bug latent : enfilerBilan ignorait
  silencieusement les mises à jour de note).
- Docker : siop2-ai embarque le modèle Whisper au build (1,54→2,19 Go),
  construit et vérifié (transcription réelle en conteneur, non-root).
- Vérifié réellement : transcription fidèle (voix de synthèse
  française) en direct, bout en bout via l'API, dans le conteneur
  Docker construit, et chaîne corpus complète (note → clôture →
  réindexation → recherche sémantique).
- Base de dev locale réinitialisée avec accord explicite du référent
  (prisma migrate reset, bloqué par défaut pour un agent IA) après
  pollution par les tests manuels de la recette terrain précédente.

Reste : test tactile sur iPhone physique (bouton dicter) — bloqué par
une connexion USB qui ne s'est pas rétablie malgré câble/port/
redémarrage essayés à plusieurs reprises, reporté comme la recette
Android.

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
This commit is contained in:
pr-daaif
2026-07-22 11:55:47 +01:00
parent 0730bf9dad
commit 59ed6f3952
28 changed files with 782 additions and 20 deletions
Download Patch File Download Diff File Expand all files Collapse all files

3
apps/mobile/app.json
View File

@@ -26,7 +26,8 @@
"plugins": [
"expo-router",
"expo-font",
"expo-secure-store"
"expo-secure-store",
"expo-audio"
],
"scheme": "siop"
}

93
apps/mobile/app/ot/[id]/cloture.tsx
View File

@@ -1,6 +1,8 @@
import * as FileSystem from 'expo-file-system';
import { router, useLocalSearchParams } from 'expo-router';
import { useState } from 'react';
import { Pressable, ScrollView, Text, TextInput, View } from 'react-native';
import { RecordingPresets, requestRecordingPermissionsAsync, useAudioRecorder } from 'expo-audio';
import { SafeAreaView } from 'react-native-safe-area-context';
import {
BILAN_FIELD_LABELS,
@@ -9,9 +11,15 @@ import {
type BilanField,
type BilanSuggestion,
type ReportUpsert,
type WorkOrderDetail,
} from '@siop/shared';
import { useQueryClient } from '@tanstack/react-query';
import { useReferenceValues, useSuggestionBilan, useWorkOrder } from '@/api/exploitation';
import {
useReferenceValues,
useSuggestionBilan,
useTranscription,
useWorkOrder,
} from '@/api/exploitation';
import { useHorsLigne } from '@/auth/session';
import { BoutonTel, Carte, ChoixTel, EnteteFiche } from '@/composants/ui';
import { enfilerBilan, enfilerTransition } from '@/file/actions';
@@ -97,6 +105,7 @@ export default function PageCloture() {
<ScrollView contentContainerStyle={{ padding: 14, gap: 10 }}>
<EnteteFiche titre={`Clôturer ${ot.reference}`} />
<CarteSuggestion
ot={ot}
horsLigne={horsLigne}
surApplication={(s) => setChoix((c) => ({ ...c, [s.field]: s.valueId }))}
/>
@@ -160,28 +169,67 @@ export default function PageCloture() {
/** Écran 4 des maquettes R5 : décrire au pouce → chips suggérées (D1 — un
* appui = un choix humain, les chips ne font que pré-remplir les sélecteurs).
* L'IA est un service serveur : hors-ligne, la suggestion attend le réseau
* — la clôture en file R4, elle, n'en a pas besoin. */
* — la clôture en file R4, elle, n'en a pas besoin.
* Écran 6 (Voix, R5 D5, amendé 22/07) : dicter au lieu de taper — l'audio
* n'est JAMAIS conservé (transcrit puis effacé côté serveur ET localement),
* seule la transcription relue compte. Une fois jointe à l'OT, elle rejoint
* le corpus de l'assistant à la clôture, comme les bilans déjà codés. */
function CarteSuggestion({
ot,
horsLigne,
surApplication,
}: {
ot: WorkOrderDetail;
horsLigne: boolean;
surApplication: (s: BilanSuggestion) => void;
}) {
const t = useTokens();
const queryClient = useQueryClient();
const suggerer = useSuggestionBilan();
const transcrire = useTranscription();
const recorder = useAudioRecorder(RecordingPresets.HIGH_QUALITY);
const [description, setDescription] = useState('');
const [appliquees, setAppliquees] = useState<Set<BilanField>>(new Set());
const [enregistrement, setEnregistrement] = useState(false);
const [jointe, setJointe] = useState(false);
const suggestions = suggerer.data?.suggestions ?? [];
const demarrerDictee = async () => {
const { granted } = await requestRecordingPermissionsAsync();
if (!granted) return;
await recorder.prepareToRecordAsync();
recorder.record();
setEnregistrement(true);
setJointe(false);
};
const terminerDictee = async () => {
await recorder.stop();
setEnregistrement(false);
const uri = recorder.uri;
if (!uri) return;
transcrire.mutate(
{ uri, nom: 'dictee.m4a', mime: 'audio/m4a' },
{
onSuccess: (resultat) => setDescription(resultat.text),
// Loi 09-08 (D5) : l'audio ne survit JAMAIS à l'appel, succès ou pas —
// le fichier local suit le même sort que sur le serveur.
onSettled: () => void FileSystem.deleteAsync(uri, { idempotent: true }),
},
);
};
return (
<Carte titre="Décrire pour suggérer (optionnel)">
<TextInput
multiline
value={description}
onChangeText={setDescription}
onChangeText={(v) => {
setDescription(v);
setJointe(false);
}}
maxLength={2000}
placeholder="Décrivez la panne et ce que vous avez fait…"
placeholder="Décrivez la panne et ce que vous avez fait, ou dictez avec 🎙…"
placeholderTextColor={t.encre3}
accessibilityLabel="Décrire pour suggérer"
style={{
@@ -197,6 +245,43 @@ function CarteSuggestion({
textAlignVertical: 'top',
}}
/>
<BoutonTel
libelle={
horsLigne
? '🎙 Dictée — réseau requis'
: enregistrement
? '■ Terminer la dictée'
: transcrire.isPending
? 'Transcription…'
: '🎙 Dicter la description'
}
variante={enregistrement ? undefined : 'contour'}
desactive={horsLigne || transcrire.isPending}
surAppui={() => void (enregistrement ? terminerDictee() : demarrerDictee())}
/>
{transcrire.isError ? (
<Text style={{ color: t.danger, fontFamily: 'Manrope_600SemiBold', fontSize: 12 }}>
{transcrire.error.message}
</Text>
) : null}
{transcrire.isSuccess && !enregistrement ? (
<Text style={{ color: t.stTermine, fontFamily: 'Manrope_600SemiBold', fontSize: 11 }}>
✓ Audio transcrit et supprimé — relisez avant d’appliquer.
</Text>
) : null}
<BoutonTel
libelle={jointe ? '✓ Description jointe à l’OT' : 'Joindre la description à l’OT'}
variante="contour"
desactive={jointe || description.trim().length === 0}
surAppui={() => {
enfilerBilan(queryClient, ot, { note: description.trim() }, {});
setJointe(true);
}}
/>
<Text style={{ color: t.encre3, fontFamily: 'Manrope_500Medium', fontSize: 11 }}>
🛡 Une fois jointe et l’OT clôturé, cette description (anonymisée) rejoint le corpus de
l’assistant — comme les bilans déjà codés.
</Text>
<BoutonTel
libelle={
horsLigne

2
apps/mobile/package.json
View File

@@ -11,8 +11,10 @@
"@tanstack/react-query": "^5.101.2",
"@tanstack/react-query-persist-client": "^5.101.2",
"expo": "~57.0.6",
"expo-audio": "~57.0.2",
"expo-camera": "~57.0.3",
"expo-constants": "~57.0.5",
"expo-file-system": "~57.0.1",
"expo-font": "~57.0.1",
"expo-image-manipulator": "~57.0.4",
"expo-image-picker": "~57.0.4",

30
apps/mobile/src/api/exploitation.ts
View File

@@ -1,6 +1,7 @@
import { useMutation, useQuery, useQueryClient } from '@tanstack/react-query';
import type { ChecklistState, ReportUpsert, WorkOrderStatus } from '@siop/shared';
import { api, unwrap } from './client';
import { api, API_URL, unwrap } from './client';
import { lireJeton } from './jeton';
/** Hooks R4.2 — mêmes opérations que le web (contrat unique). Les écritures
* restent EN LIGNE dans cette release ; la mise en file arrive en R4.3 (D1). */
@@ -100,6 +101,33 @@ export function useSuggestionBilan() {
});
}
/** Dictée (R5 D5, opt-in) : multipart hors client typé, même raison que la
* photo (D5) — le fichier natif {uri, name, type} ne passe pas par `api.*`.
* L'audio ne transite qu'une fois ; rien n'est stocké côté app après. */
export function useTranscription() {
return useMutation({
mutationFn: async (fichier: { uri: string; nom: string; mime: string }) => {
const form = new FormData();
form.append('file', {
uri: fichier.uri,
name: fichier.nom,
type: fichier.mime,
} as unknown as Blob);
const jeton = await lireJeton();
const res = await fetch(`${API_URL}/assistant/transcribe`, {
method: 'POST',
headers: jeton ? { Authorization: `Bearer ${jeton}` } : undefined,
body: form,
});
if (!res.ok) {
const corps = (await res.json().catch(() => null)) as { message?: string } | null;
throw new Error(corps?.message ?? `Dictée indisponible (${res.status})`);
}
return (await res.json()) as { text: string };
},
});
}
export function useBilan(otId: string) {
const invalide = useInvalideOT(otId);
return useMutation({

54
apps/mobile/src/api/schema.d.ts vendored
View File

@@ -509,6 +509,23 @@ export interface paths {
patch?: never;
trace?: never;
};
"/assistant/transcribe": {
parameters: {
query?: never;
header?: never;
path?: never;
cookie?: never;
};
get?: never;
put?: never;
/** Dictée (R5 D5, opt-in) — l’audio est transcrit puis JAMAIS conservé, à relire avant tout usage */
post: operations["transcribeAudio"];
delete?: never;
options?: never;
head?: never;
patch?: never;
trace?: never;
};
"/search": {
parameters: {
query?: never;
@@ -1567,6 +1584,9 @@ export interface components {
reportsIndexed: number;
chunks: number;
};
TranscriptionResult: {
text: string;
};
SearchResponse: {
workOrders: {
/** Format: uuid */
@@ -3210,6 +3230,40 @@ export interface operations {
};
};
};
transcribeAudio: {
parameters: {
query?: never;
header?: never;
path?: never;
cookie?: never;
};
requestBody: {
content: {
"multipart/form-data": {
/** Format: binary */
file: string;
};
};
};
responses: {
/** @description Texte transcrit — à relire (D1) */
200: {
headers: {
[name: string]: unknown;
};
content: {
"application/json": components["schemas"]["TranscriptionResult"];
};
};
/** @description Dictée non activée ou service IA indisponible */
503: {
headers: {
[name: string]: unknown;
};
content?: never;
};
};
};
globalSearch: {
parameters: {
query: {

2
apps/mobile/src/file/actions.ts
View File

@@ -85,7 +85,7 @@ export function enfilerBilan(
patchDetail(queryClient, ot.id, (c) => ({
...c,
report: {
note: c.report?.note ?? null,
note: corps.note !== undefined ? corps.note : (c.report?.note ?? null),
doorState: labels.doorStateId !== undefined ? (labels.doorStateId ?? null) : (c.report?.doorState ?? null),
cabinPosition:
labels.cabinPositionId !== undefined ? (labels.cabinPositionId ?? null) : (c.report?.cabinPosition ?? null),