Выражение «в разы» является разговорным, поэтому его употребление может быть не всегда уместным. Если у вас нет намерения специально показать особенности чьей-то речи, лучше заменить эту форму на литературный вариант. В литературном языке используется выражение «в несколько раз».