Pratiques d'\'evaluation en ASR et biais de performance (Evaluation methodology in ASR and performance bias)
Nous proposons une r{\'e}flexion sur les pratiques d{'}{\'e}valuation des syst{\`e}mes de reconnaissance automatique de la parole (ASR). Apr{\`e}s avoir d{\'e}fini la notion de discrimination d{'}un point de vue l{\'e}gal et la notion d{'}{\'e}quit{\'e} dans les syst{\`e}mes d{'}intelligence artificielle, nous nous int{\'e}ressons aux pratiques actuelles lors des grandes campagnes d{'}{\'e}valuation. Nous observons que la variabilit{\'e} de la parole et plus particuli{\`e}rement celle de l{'}individu n{'}est pas prise en compte dans les protocoles d{'}{\'e}valuation actuels rendant impossible l{'}{\'e}tude de biais potentiels dans les syst{\`e}mes.
PDF Abstract