Разговорная речь может быть вполне уместна в обычных непринуждённых беседах. А ещё она может являться частью образа, например, персонажа книги. Но всё же важно видеть разницу между разговорным и литературным вариантами слов. Выражение «в разы» как раз относится к разговорным, а потому может быть неподходящим в некоторых ситуациях. В литературной речи вместо него лучше использовать выражение «в несколько раз».