Численные методы (язык Паскаль) © К.Ю. Поляков, Решение уравненийРешение уравнений 2.Вычисление площади (интеграла)Вычисление площади (интеграла) 3.Вычисление длины кривойВычисление длины кривой 4.ОптимизацияОптимизация

Численные методы (язык Паскаль) Тема 1. Решение уравнений © К.Ю. Поляков,

3 Основные понятия Типы решения: аналитическое (точное, в виде формулы) приближенное (неточное) Задача: решить уравнение Как? ? численные методы начальное приближение при N графический метод

4 Численные методы Идея: последовательное уточнение решения с помощью некоторого алгоритма. Область применения: когда найти точное решение невозможно или крайне сложно. 1)можно найти хоть какое-то решение 2)во многих случаях можно оценить ошибку (то есть можно найти решение с заданной точностью) 1)нельзя найти точное решение 2)невозможно исследовать решение при изменении параметров 3)большой объем вычислений 4)иногда сложно оценить ошибку 5)нет универсальных методов

5 Есть ли решение на [a, b] ? x y x*x* a b x y x*x* a b есть решение нет решения x y x*x* a b Если непрерывная функция f (x) имеет разные знаки на концах интервала [a, b], то в некоторой точке x * внутри [a, b] имеем f (x * ) = 0 ! !

6 Метод дихотомии (деление пополам) 1.Найти середину отрезка [a,b] : c = (a + b) / 2; 2.Если f(c)*f(a)

7 Метод дихотомии (деления пополам) простота можно получить решение с заданной точностью (в пределах точности машинных вычислений) нужно знать интервал [a, b] на интервале [a, b] должно быть только одно решение большое число шагов для достижения высокой точности только для функций одной переменной

8 Метод деления отрезка пополам { BinSolve находит решение на [a,b] методом деления отрезка пополам Вход: a, b - границы интервала, a < b eps - точность решения Выход: x - решение уравнения f(x)= } function BinSolve (a, b, eps: real): real; var c:real; begin while b - a > eps do begin c := (a + b) / 2; if f(a)*f(c) < 0 then b := c else a := c; end; BinSolve := (a + b) / 2; end; { BinSolve находит решение на [a,b] методом деления отрезка пополам Вход: a, b - границы интервала, a < b eps - точность решения Выход: x - решение уравнения f(x)= } function BinSolve (a, b, eps: real): real; var c:real; begin while b - a > eps do begin c := (a + b) / 2; if f(a)*f(c) < 0 then b := c else a := c; end; BinSolve := (a + b) / 2; end; function f(x:real): real; begin f := x*x – 5; end; function f(x:real): real; begin f := x*x – 5; end;

9 Как подсчитать число шагов? function BinSolve (a, b, eps: real; var N: integer ): real; var c:real; begin N := 0; while b - a > eps do begin c := (a + b) / 2; if f(a)*f(c) < 0 then b := c else a := c; N := N + 1; end; BinSolve := (a + b) / 2; end; function BinSolve (a, b, eps: real; var N: integer ): real; var c:real; begin N := 0; while b - a > eps do begin c := (a + b) / 2; if f(a)*f(c) < 0 then b := c else a := c; N := N + 1; end; BinSolve := (a + b) / 2; end; var N: integer N := 0; N := N + 1; Вызов в основной программе: var x: real; N: integer;... x := BinSolve(1, 2, , N); writeln('Ответ: x = ', x:7:3); writeln('Число шагов: N = ', N); var x: real; N: integer;... x := BinSolve(1, 2, , N); writeln('Ответ: x = ', x:7:3); writeln('Число шагов: N = ', N); значение переменной меняется внутри функции

10 Метод итераций (повторений) Задача: Эквивалентные преобразования: имеет те же решения при Идея решения: – начальное приближение (например, с графика) Проблемы: 1)как лучше выбрать ? 2)всегда ли так можно найти решение?

11 Сходимость итераций Сходящийся итерационный процесс: последовательность приближается (сходится) к точному решению. односторонняя сходимость двусторонняя сходимость

12 Расходимость итераций Расходящийся итерационный процесс: последовательность неограниченно возрастает или убывает, не приближается к решению. односторонняя расходимость двусторонняя расходимость

13 От чего зависит сходимость? сходится расходится Выводы: сходимость итераций зависит от производной итерации сходятся при и расходятся при сходимость определяется выбором параметра b

14 Как выбрать b ? наугад, пробовать разные варианты для начального приближения x 0 пересчитывать на каждом шаге, например: Какие могут быть проблемы? ?

15 Метод итераций (программа) { Iter решение уравнения методом итераций Вход: x – начальное приближение b – параметр eps - точность решения Выход: решение уравнения f(x)=0, n - число шагов } function Iter (x, b, eps: real; var N: integer): real; var dx: real; OK: boolean; begin N := 0; OK := False; {еще не нашли} while not OK and (N < 100) do begin dx := b*f(x); x := x + dx; N := N + 1; if abs(dx) < eps then OK := True; end; Iter := x; end; { Iter решение уравнения методом итераций Вход: x – начальное приближение b – параметр eps - точность решения Выход: решение уравнения f(x)=0, n - число шагов } function Iter (x, b, eps: real; var N: integer): real; var dx: real; OK: boolean; begin N := 0; OK := False; {еще не нашли} while not OK and (N < 100) do begin dx := b*f(x); x := x + dx; N := N + 1; if abs(dx) < eps then OK := True; end; Iter := x; end; аварийный выход (итерации расходятся) нормальный выход

16 Метод Ньютона (метод касательных) Какая связь с методом итераций? ?

17 Метод Ньютона (программа) { Newton решение уравнения методом Ньютона Вход: x – начальное приближение eps - точность решения Выход: решение уравнения f(x)=0, n - число шагов } function Newton (x, eps: real; var N: integer): real; var dx: real; OK: boolean; begin N := 0; OK := False; while not OK and (N < 100) do begin dx := f(x) / df(x); x := x - dx; N := N + 1; OK := abs(dx) < eps; end; Newton := x; end; { Newton решение уравнения методом Ньютона Вход: x – начальное приближение eps - точность решения Выход: решение уравнения f(x)=0, n - число шагов } function Newton (x, eps: real; var N: integer): real; var dx: real; OK: boolean; begin N := 0; OK := False; while not OK and (N < 100) do begin dx := f(x) / df(x); x := x - dx; N := N + 1; OK := abs(dx) < eps; end; Newton := x; end; { функция } function f(x:real): real; begin f := 3*x*x*x+2*x+5; end; { производная } function df(x:real): real; begin df := 9*x*x + 2; end; { функция } function f(x:real): real; begin f := 3*x*x*x+2*x+5; end; { производная } function df(x:real): real; begin df := 9*x*x + 2; end;

18 Метод Ньютона быстрая (квадратичная) сходимость – ошибка на k -ом шаге обратно пропорциональна k 2 не нужно знать интервал, только начальное приближение применим для функция нескольких переменных нужно уметь вычислять производную (по формуле или численно) производная не должна быть равна нулю может зацикливаться

Численные методы (язык Паскаль) Тема 2. Вычисление площади (интеграла) © К.Ю. Поляков,

20 Площадь криволинейной трапеции x y b a y = f (x) x y b a y = f 1 (x) y = f 2 (x)

function Area(x1, x2:real): real; var x, S, h: real; begin S := 0; h := 0.001; x := x1; while x < x2 do begin S := S + h*(f1(x)-f2(x)); x := x + h; end; Area := S; end; function Area(x1, x2:real): real; var x, S, h: real; begin S := 0; h := 0.001; x := x1; while x < x2 do begin S := S + h*(f1(x)-f2(x)); x := x + h; end; Area := S; end; 21 Метод (левых) прямоугольников x y x2x2 x1x1 h y = f 1 (x) y = f 2 (x) S1S1S1S1 S2S2S2S2 S3S3S3S3 S4S4S4S4 SiSiSiSi x x x+h f 1 (x) f 2 (x) S * h; Как улучшить решение? ? Почему не x

22 Метод (правых) прямоугольников x y x2x2 x1x1 h y = f 1 (x) y = f 2 (x) S1S1S1S1 S2S2S2S2 S3S3S3S3 S4S4S4S4 SiSiSiSi x x+h f 1 (x) f 2 (x) function Area(x1, x2:real): real; var x, S, h: real; begin S := 0; h := 0.001; x := x1; while x < x2 do begin S := S + h*(f1(x+h)-f2(x+h)); x := x + h; end; Area := S; end; function Area(x1, x2:real): real; var x, S, h: real; begin S := 0; h := 0.001; x := x1; while x < x2 do begin S := S + h*(f1(x+h)-f2(x+h)); x := x + h; end; Area := S; end; S * h; S := S + f1(x+h) – f2(x+h); Какой метод точнее? ?

function Area(x1, x2:real): real; var x, S, h: real; begin S := 0; h := 0.001; x := x1; while x < x2 do begin S := S + f1(x+h/2) – f2(x+h/2); x := x + h; end; Area := S*h; end; function Area(x1, x2:real): real; var x, S, h: real; begin S := 0; h := 0.001; x := x1; while x < x2 do begin S := S + f1(x+h/2) – f2(x+h/2); x := x + h; end; Area := S*h; end; 23 Метод (средних) прямоугольников x y x2x2 x1x1 h y = f 1 (x) y = f 2 (x) S1S1S1S1 S2S2S2S2 S3S3S3S3 S4S4S4S4 f 1 (x) f 2 (x) x SiSiSiSi x+h Какой метод точнее? ? левые (правые): средние

x = x1; while x < x2 do begin S:= S + f1(x) – f2(x) + f1(x+h) – f2(x+h); x:= x + h; end; S := S*h/2; x = x1; while x < x2 do begin S:= S + f1(x) – f2(x) + f1(x+h) – f2(x+h); x:= x + h; end; S := S*h/2; 24 Метод трапеций x y x2x2 x1x1 h y = f 1 (x) y = f 2 (x) x x+h f 1 (x) f 2 (x) SiSiSiSi S : =( f1(x1)-f2(x1)+f1(x2)-f2(x2) )/2; x := x1 + h; while x < x2 do begin S := S + f1(x) – f2(x); x := x + h; end; S := S*h; S : =( f1(x1)-f2(x1)+f1(x2)-f2(x2) )/2; x := x1 + h; while x < x2 do begin S := S + f1(x) – f2(x); x := x + h; end; S := S*h; S1S1S1S1 S2S2S2S2 S3S3S3S3 S4S4S4S4 Как улучшить? ? Ошибка

25 Метод Монте-Карло Применение: вычисление площадей сложных фигур (трудно применить другие методы). Требования: необходимо уметь достаточно просто определять, попала ли точка (x, y) внутрь фигуры. Пример: заданы 100 кругов (координаты центра, радиусы), которые могу пересекаться. Найти площадь области, перекрытой кругами. Как найти S ? ?

26 Метод Монте-Карло 1.Вписываем сложную фигуру в другую фигуру, для которой легко вычислить площадь (прямоугольник, круг, …). 2.Равномерно N точек со случайными координатами внутри прямоугольника. 3.Подсчитываем количество точек, попавших на фигуру: M. 4. Вычисляем площадь: Всего N точек На фигуре M точек 1.Метод приближенный. 2.Распределение должно быть равномерным. 3.Чем больше точек, тем точнее. 4.Точность ограничена датчиком случайных чисел. !

Численные методы (язык Паскаль) Тема 3. Вычисление длины кривой © К.Ю. Поляков,

28 Длина кривой x y b a y = f (x) L Точное решение: нужна формула для производной сложно взять интеграл Приближенное решение: xixi x i +h f (x)f (x) LiLi L1L1 L2L2 LNLN

29 Длина кривой { CurveLen вычисление длины кривой Вход: a, b – границы интервала Выход: длина кривой y = f(x) на интервале [a,b] } function CurveLen(a, b: real): real; var x, dy, h, L: real; begin h := 0.001; L := 0; x := a; while x < b do begin dy := f(x+h) - f(x); L := L + sqrt(h*h + dy*dy); x := x + h; end; CurveLen := L; end; { CurveLen вычисление длины кривой Вход: a, b – границы интервала Выход: длина кривой y = f(x) на интервале [a,b] } function CurveLen(a, b: real): real; var x, dy, h, L: real; begin h := 0.001; L := 0; x := a; while x < b do begin dy := f(x+h) - f(x); L := L + sqrt(h*h + dy*dy); x := x + h; end; CurveLen := L; end;

Численные методы Тема 4. Оптимизация © К.Ю. Поляков,

31 Найти x, при котором или при заданных ограничениях. Основные понятия Оптимизация – поиск оптимального (наилучшего в некотором смысле) решения. Цель: определить значения неизвестных параметров, при которых заданная функция достигает минимума (затраты) или максимума (доходы). Ограничения – условия, которые делают задачу осмысленной. или

32 Локальные и глобальные минимумы y = f (x) глобальный минимум локальные минимумы Задача: найти глобальный минимум. Реальность: большинство известных алгоритмов находят только локальный минимум вблизи начальной точки алгоритмы поиска глобального минимума в общем случае неизвестны Что делать: для функций одной переменной начальная точка определяется по графику случайный выбор начальной точки запуск алгоритма поиска с нескольких разных точек и выбор наилучшего результата

33 Минимум функции одной переменной Дано: на интервале [a,b] функция непрерывна и имеет единственный минимум. Найти: x * y = f (x) Принцип сжатия интервала: Как выбрать c и d наилучшим образом? ?

34 Минимум функции одной переменной Постоянное сжатие в обоих случаях: y = f (x) Коэффициент сжатия: Самое быстрое сжатие: при должно быть c d Метод «почти половинного» деления: – малое число нужно искать два значения функции на каждом шаге

35 Отношение «золотого сечения» Идея: выбрать c и d так, чтобы на каждом шаге вычислять только одно новое значение функции. Уравнение для определения g : Отношение «золотого сечения»:

36 Метод «золотого сечения» { Gold поиск минимума функции («золотое сечение») Вход: a, b – границы интервала, eps – точность Выход: x, при котором f(x) имеет минимум на [a,b] } function Gold(a, b, eps:real): real; const g = ; var x1, x2, R: real; begin R := g*(b - a); while abs(b-a) > eps do begin x1 := b - R; x2 := a + R; if f(x1) > f(x2) then a := x1 else b := x2; R := R * g; end; Gold := (a + b) / 2; end; { Gold поиск минимума функции («золотое сечение») Вход: a, b – границы интервала, eps – точность Выход: x, при котором f(x) имеет минимум на [a,b] } function Gold(a, b, eps:real): real; const g = ; var x1, x2, R: real; begin R := g*(b - a); while abs(b-a) > eps do begin x1 := b - R; x2 := a + R; if f(x1) > f(x2) then a := x1 else b := x2; R := R * g; end; Gold := (a + b) / 2; end; Как вычислять только одно значение на каждом шаге? ?

37 Функции нескольких переменных Найти, для которых при заданных ограничениях. Проблемы: нет универсальных алгоритмов поиска глобального минимума неясно, как выбрать начальное приближение (зависит от задачи и интуиции) Подходы: методы локальной оптимизации (результат зависит от выбора начального приближения) случайный поиск (без гарантии) методы глобальной оптимизации (для особых классов функций)

38 Метод покоординатного спуска Идея: выбираем начальную точку будем менять только x 1, а остальные переменные «заморозим», находим минимум по x 1 теперь будем менять только x 2, а остальные переменные «заморозим», … начальное приближение минимум простота, сводится к нескольким задачам с одной переменной можно двигаться к минимуму быстрее большой объем вычислений может не найти решение для сложных функций

39 Градиентные методы Градиент – это вектор, показывающий направление наискорейшего возрастания функции. Идея: выбираем начальную точку на каждом шаге двигаемся в направлении, противоположном градиенту минимум начальное приближение быстрая сходимость необходимо считать производные (по формуле или численно) плохо работает для быстро меняющихся функций градиент

40 Метод случайного поиска Идея: выбираем начальную точку пробуем сделать шаг в случайном направлении если значение функции уменьшилось, шаг удачный (запоминается) минимум начальное приближение простота реализации не требует вычисления производных много вариантов с самообучением хорошо работает для функций с многими локальными минимумами очень большой объем вычислений

41 Конец фильма