Por orden, de lo más frecuente a lo menos.
Comprueba el permiso del micrófono
El navegador pide permiso la primera vez. Si lo rechazaste, no vuelve a preguntar: hay que darlo a mano en los ajustes del sitio, en el candado de la barra de direcciones.
En iPhone hay dos capas: el permiso del sitio en Safari y el permiso de micrófono de Safari en los ajustes del teléfono. Si el primero está bien y sigue sin oírte, mira el segundo.
Baja el ruido de fondo
El reconocimiento corre en tu dispositivo y no tiene la potencia de un servidor. Con música alta o en un bar cuesta. Hablar a la altura normal, sin gritar, funciona mejor que acercarse mucho al micrófono.
Auriculares con micrófono
Si estudias andando por la calle, unos auriculares con micrófono cambian bastante el resultado.
Si tu móvil no puede con el modelo local
En dispositivos antiguos el modelo de voz que corre en local va justo. Puedes responder tocando la pantalla o usar el dictado del navegador. Ten en cuenta que el dictado del navegador sí puede enviar tu voz a los servidores del fabricante del sistema, que es justo lo que evita el modo local.
Si nada de esto lo arregla
Escríbenos diciendo qué móvil y qué navegador usas. Con eso solemos identificarlo.