Итеративные методы решения оптимизационных задач [iterative methods for optimal solutions] — заключаются в том, что вычислительный процесс начинают с некоторого пробного (произвольного) допустимого решения, а затем применяют алгоритм, обеспечивающий последовательное улучшение этого решения. Процесс таких проб продолжается до тех пор, пока не станет ясно, что либо дальнейшее улучшение решения невозможно (достигнут оптимум, причем во многих случаях требуется дополнительно проверить — локальный или глобальный), либо дальнейшие вычисления нецелесообразны, поскольку возможное улучшение результата не окупит дополнительных затрат. (В последнем случае для определения момента окончания вычислений используется прием, называемый методом Лас Вегаса).
Алгоритмы, применяемые при этом («итеративные алгоритмы методов последовательного улучшения плана”), можно подразделить на три класса:
1) при которых известно, что на каждой итерации решение улучшается, причем число таких итераций для достижения оптимума конечно;
2) при которых также каждая итерация улучшает решение, но оптимум достигается лишь как предел бесконечной последовательности решений (бесконечного вычислительного процесса);
3) алгоритмы, основанные на методе проб и ошибок, обеспечивают улучшение решения в целом, но не на отдельной итерации.
Примеры практического применения итерационных методов см. в статьях Базисное решение, Симплексный метод