Верните пока R3 = 100 кОм и оставьте R9 = 2 Ом
Я немного ошибся, R3 нельзя сильно увеличивать, начинает сказываться сопротивление R5 в обратной связи ОУ и регулировка практически перестает работать.
Лучше уменьшить значение переменного сопротивления R10, хотя моделирование показывает что и при значениях 1кОм схема должна работать.
Попробуйте "поиграться" в браузерном онлайн симуляторе схемы.
Он конечно не совсем точен и для упрощения картины я убрал ШИМ, но работу схемы по постоянному току он демонстрирует.
Я попытался эмулировать ваш двигатель с токами от 60 мА на х.х. до 1.5 А в к.з
Текстовый файл с моделью схемы я приложил к сообщению.
Его нужно сохранить на локальный диск.
http://falstad.com/circuit/circuitjs.html
File -> Import From Local File -> Выбрать сохраненный файл
Далее RUN / Stop
Нагрузку на двигателе эмулируем правым переменным резистором (motor)
Установку напряжения срабатывания - левым (resistance)
PS
Сопротивления в 5 кОм и 10 кОм это часть входной цепи таймера 555.
Хорошее описание можно посмотреть здесь:
http://www.joyta.ru/619-opisanie-tajmera-ne555/