Скачать презентацию
Идет загрузка презентации. Пожалуйста, подождите
1
NodeJS Эффективное программирование Юра Богданов технический директор и соучредитель Eventr
2
NodeJS Цель проекта: «Предоставить естественную неблокирующую, событийно-ориентированную инфраструктуру для написания программ с высокой конкурентностью» (с) Ryan Dahl «to provide a purely evented, non-blocking infrastructure to script highly concurrent programs»
3
NodeJS NodeJS – серверная JavaScript платформа –Использует Google V8 (Chromium: Google Chrome, Chrome OS, etc.) –Превращает V8 в мощную машину для серверных приложений –Сливается в гармонии с философией JavaScript –Молодой, но живой Event loop - неблокирующий ввод/вывод –Все выполняется параллельно, кроме вашего кода
4
Для чего подходит NodeJS Много I/O + большая конкурентность –RIA «богатые» приложения –API –Proxy Realtime –Чаты –Онлайн игры –Трансляции –Publish/Subscribe
5
Event loop Это цикл (libev) Это один процесс, один поток Выполняет одну задачу на один момент времени Ожидает события параллельно (libeio, pooled threads) В каждой итерации последовательно запускает функции-колбэки из трех разных очередей: 1.nextTick функции 2.Таймеры (setTimeout, setInterval) 3.Сигналы ввода/вывода (libeio) Завершает работу, если все очереди пусты
6
Время CPU – процессорное время –Интерпретация кода –Бизнес-логика приложения, алгоритмы –Рендеринг шаблонов I/O – время ввода/вывода –Запросы в базу данных (network) –Чтение файлов –Чтение кэша I/O CPU
10
callback I/O CPU занятосвободно Blocking I/O Event Loop монолит А что если во время ожидания I/O заниматься друмиги полезными делами?
11
I/O Event loop Примерно так выглядит более реальный запрос: CPU+I/O
12
I/O CPU callback I/O CPU Event loop Примерно так выглядит более реальный запрос:
13
Event loop Примерно так выглядит более реальный запрос: I/O CPU Свободно для других задач callback I/O CPU
14
Event Loop mysql.query(SELECT count(*) FROM users, function(err, count) { console.log(There are %d users in db, count); }) console.log(Hello, ); Отправка запроса в БД
15
Event Loop mysql.query(SELECT count(*) FROM users, function(err, count) { console.log(There are %d users in db, count); }) console.log(Hello, ); Hello, Ожидание ответа БД...
16
Event Loop mysql.query(SELECT count(*) FROM users, function(err, count) { console.log(There are %d users in db, count); }) console.log(Hello, ); Hello, There are users in db Пришел ответ из БД
19
Первый запрос Blocking I/O, 1 процесс
20
Второй запрос, после 10ms ожидает выполнения первого Blocking I/O, 1 процесс
21
Третий запрос, после 50ms ожидает выполнения первого и второго Blocking I/O, 1 процесс
22
Event loop, 1 процесс
23
Blocking I/O, 1 процесс Event loop, 1 процесс Время: 0ms Пришел первый запрос, Запрашиваем I/O, освобождаемся, Ждем других запросов Время: 0ms Пришел первый запрос, Запрашиваем I/O, освобождаемся, Ждем других запросов
24
Blocking I/O, 1 процесс Event loop, 1 процесс Время: 10ms Пришел второй запрос, Запрашиваем I/O, освобождаемся, Ждем других запросов Время: 10ms Пришел второй запрос, Запрашиваем I/O, освобождаемся, Ждем других запросов
25
Blocking I/O, 1 процесс Event loop, 1 процесс Время: 50ms Пришел третий запрос, Запрашиваем I/O, освобождаемся, Ждем других запросов Время: 50ms Пришел третий запрос, Запрашиваем I/O, освобождаемся, Ждем других запросов
26
Blocking I/O, 1 процесс Event loop, 1 процесс Время: 70ms Пришел ответ на I/O первого запроса, запускаем callback1 Время: 70ms Пришел ответ на I/O первого запроса, запускаем callback1
27
Blocking I/O, 1 процесс Event loop, 1 процесс Время: 80ms Пришел ответ на I/O второго запроса, callback2 ожидает своей очереди Время: 80ms Пришел ответ на I/O второго запроса, callback2 ожидает своей очереди
28
Blocking I/O, 1 процесс Event loop, 1 процесс Время: 100ms сallback1 завершился, запускаем callback2 Время: 100ms сallback1 завершился, запускаем callback2
29
Blocking I/O, 1 процесс Event loop, 1 процесс Время: 120ms Пришел ответ на I/O третьего запроса, callback3 ожидает своей очереди Время: 120ms Пришел ответ на I/O третьего запроса, callback3 ожидает своей очереди
30
Blocking I/O, 1 процесс Event loop, 1 процесс Время: 130ms сallback2 завершился, запускаем callback3 Время: 130ms сallback2 завершился, запускаем callback3
31
Blocking I/O, 1 процесс Event loop, 1 процесс Время: 160ms callback3 завершился Ждем других запросов Время: 160ms callback3 завершился Ждем других запросов
32
Время CPU vs I/O RIA трэнд
33
Приложение my_app.js library / my_module.js node_modules / express sync narrow
34
Приложение my_app.js library / my_module.js node_modules / express sync narrow require.paths.unshift(./library) var MyModule = require(my_module) var Sync = require(sync)
35
Приложение my_app.js library / my_module.js node_modules / express sync narrow var MyModule = function() { // … } module.exports = MyModule
36
Приложение my_app.js library / my_module.js node_modules / express sync narrow require.paths.unshift(./library) var MyModule = require(my_module) var Sync = require(sync) console.log(my module:, MyModule);+
37
Приложение my_app.js library / my_module.js node_modules / express sync narrow $ node my_app.js my module: function (){}
38
Приложение my_app.js library / my_module.js node_modules / express sync narrow mongoose $ npm install mongoose
39
HTTP var http = require(http); http.createServer(function(req, res){ res.writeHead(200, { Content-Type : text/plain }); res.end(Hello, World\n); }).listen(3080) console.log(Server running at Подключаем HTTP модуль
40
HTTP var http = require(http); http.createServer(function(req, res){ res.writeHead(200, { Content-Type : text/plain }); res.end(Hello, World\n); }).listen(3080) console.log(Server running at Создаем HTTP сервер
41
HTTP var http = require(http); http.createServer(function(req, res){ res.writeHead(200, { Content-Type : text/plain }); res.end(Hello, World\n); }).listen(3080) console.log(Server running at «вешаем» сервер на 3080 порт
42
HTTP var http = require(http); http.createServer(function(req, res){ res.writeHead(200, { Content-Type : text/plain }); res.end(Hello, World\n); }).listen(3080) console.log(Server running at Сервер создан, выводим сообщение Сервер создан, выводим сообщение
43
HTTP var http = require(http); http.createServer(function(req, res){ res.writeHead(200, { Content-Type : text/plain }); res.end(Hello, World\n); }).listen(3080) console.log(Server running at Функция будет вызвана индивидуально для каждого запроса
44
HTTP var http = require(http); http.createServer(function(req, res){ res.writeHead(200, { Content-Type : text/plain }); res.end(Hello, World\n); }).listen(3080) console.log(Server running at Отправляем HTTP заголовок
45
HTTP var http = require(http); http.createServer(function(req, res){ res.writeHead(200, { Content-Type : text/plain }); res.end(Hello, World\n); }).listen(3080) console.log(Server running at Отправляем HTTP тело и закрываем сокет
46
HTTP var http = require(http); http.createServer(function(req, res){ res.writeHead(200, { Content-Type : text/plain }); res.end(Hello, World\n); }).listen(3080) console.log(Server running at $ node my_app.js
47
HTTP var http = require(http); http.createServer(function(req, res){ res.writeHead(200, { Content-Type : text/plain }); res.end(Hello, World\n); }).listen(3080) console.log(Server running at $ node my_app.js Server running at $ node my_app.js Server running at
48
HTTP var http = require(http); http.createServer(function(req, res){ res.writeHead(200, { Content-Type : text/plain }); res.end(Hello, World\n); }).listen(3080) console.log(Server running at $ node my_app.js Server running at $ node my_app.js Server running at $ curl
49
HTTP var http = require(http); http.createServer(function(req, res){ res.writeHead(200, { Content-Type : text/plain }); res.end(Hello, World\n); }).listen(3080) console.log(Server running at $ node my_app.js Server running at $ node my_app.js Server running at $ curl Hello, World $ $ curl Hello, World $
50
HTTP var http = require(http); http.createServer(function(req, res){ setTimeout(function(){ res.end(World!\n); }, 1000); res.writeHead(200, { Content-Type : text/plain }); res.write(Hello,\n); }).listen(3080) console.log(Server running at Hello сразу, World – через 1 сек
51
HTTP var http = require(http); http.createServer(function(req, res){ setTimeout(function(){ res.end(World!\n); }, 1000); res.writeHead(200, { Content-Type : text/plain }); res.write(Hello,\n); }).listen(3080) console.log(Server running at $ node my_app.js Server running at $ node my_app.js Server running at $ curl Hello, $ curl Hello,
52
HTTP var http = require(http); http.createServer(function(req, res){ setTimeout(function(){ res.end(World!\n); }, 1000); res.writeHead(200, { Content-Type : text/plain }); res.write(Hello,\n); }).listen(3080) console.log(Server running at $ node my_app.js Server running at $ node my_app.js Server running at $ curl Hello, World! $ $ curl Hello, World! $ Через секунду
53
HTTP var http = require(http); var i = 0; http.createServer(function(req, res){ res.writeHead(200, { Content-Type : text/plain }); res.end(i = + i + \n); i++; }).listen(3080) console.log(Server running at Итератор, общий для всех запросов – javascript замыкание (closure)
54
HTTP var http = require(http); var i = 0; http.createServer(function(req, res){ res.writeHead(200, { Content-Type : text/plain }); res.end(i = + i + \n); i++; }).listen(3080) console.log(Server running at $ node my_app.js Server running at $ node my_app.js Server running at $ curl i = 0 $ $ curl i = 0 $
55
HTTP var http = require(http); var i = 0; http.createServer(function(req, res){ res.writeHead(200, { Content-Type : text/plain }); res.end(i = + i + \n); i++; }).listen(3080) console.log(Server running at $ node my_app.js Server running at $ node my_app.js Server running at $ curl i = 0 $ curl i = 1 $ $ curl i = 0 $ curl i = 1 $
56
Callback-driven парадигма Ломает мозг Синтаксический шум С ложно выполнить ряд действий в определенной последовательности Необходимость вручную «пробрасывать» ошибки Бесконечная индентация – aka «спагетти код»
57
Callback-driven парадигма function asyncFunction(arg1, arg2, argN, callback) { } Неблокирующая функция принимает callback последним аргументом
58
Callback-driven парадигма function asyncFunction(arg1, arg2, argN, callback) { } function callback(err, result1, result2, resultN) { } Неблокирующая функция принимает callback последним аргументом Callback принимает ошибку первым аргументом, остальные – результат
59
Callback-driven парадигма function sum(a, b) { if (a > b) { throw new Error('a cannot be greater than b'); } return a + b; }
60
Callback-driven парадигма function sum(a, b) { if (a > b) { throw new Error('a cannot be greater than b'); } return a + b; } function asyncSum(a, b, callback) { if (a > b) { return callback(new Error('a cannot be greater than b')); } callback(null, a + b); }
61
Callback-driven парадигма function sum(a, b) { if (a > b) { throw new Error('a cannot be greater than b'); } return a + b; } function asyncSum(a, b, callback) { if (a > b) { return callback(new Error('a cannot be greater than b')); } callback(null, a + b); } throw!
62
Callback-driven парадигма try { var result = sum(2, 3); console.log('result = %d', result); } catch (err) { console.error(err); }
63
Callback-driven парадигма try { var result = sum(2, 3); console.log('result = %d', result); } catch (err) { console.error(err); } asyncSum(2, 3, function(err, result){ if (err) return console.error(err); console.log('result = %d', result); })
64
Callback-driven парадигма function getUser(id, callback) { }
65
Callback-driven парадигма function getUser(id, callback) { } getUser(1234, function(err, user) { if (err) return console.error(err); console.log(user:, user); })
66
Callback-driven парадигма function getUser(id, callback) { readConfig(config.json, function(err, config){ if (err) return callback(err); }) }
67
Callback-driven парадигма function getUser(id, callback) { readConfig(config.json, function(err, config){ if (err) return callback(err); dbConnect(config.host, function(err, db){ if (err) return callback(err); }) }
68
Callback-driven парадигма function getUser(id, callback) { readConfig(config.json, function(err, config){ if (err) return callback(err); dbConnect(config.host, function(err, db){ if (err) return callback(err); db.getUser(id, function(err, user){ if (err) return callback(err); callback(null, user); }) }
69
Callback-driven парадигма function getUser(id, callback) { readConfig(config.json, function(err, config){ if (err) return callback(err); afterReadConfig(id, config, callback); }) } function afterReadConfig(id, config, callback) { dbConnect(config.host, function(err, db){ if (err) return callback(err); db.getUser(id, function(err, user){ … }) }
70
Callback-driven парадигма function getUser(id, callback) { readConfig(config.json, function(err, config){ if (err) return callback(err); afterReadConfig(id, config, callback); }) } function afterReadConfig(id, config, callback) { dbConnect(config.host, function(err, db){ if (err) return callback(err); afterDbConnect(id, db, callback); }) } function afterDbConnect(id, db, callback) … ++++
71
Callback-driven парадигма Error: User not found at afterDbConnect (/path/to/script.js:24:14) at /path/to/script.js:20:9 at dbConnect (/path/to/script.js:7:5) at afterReadConfig (/path/to/script.js:18:5) at /path/to/script.js:13:9 at readConfig (/path/to/script.js:3:5) at getUser (/path/to/script.js:11:5) at Object. (/path/to/script.js:28:1) at Module._compile (module.js:404:26) at Object..js (module.js:410:10)
72
Callback-driven парадигма Error: User not found at afterDbConnect (/path/to/script.js:24:14) at /path/to/script.js:20:9 at dbConnect (/path/to/script.js:7:5) at afterReadConfig (/path/to/script.js:18:5) at /path/to/script.js:13:9 at readConfig (/path/to/script.js:3:5) at getUser (/path/to/script.js:11:5) at Object. (/path/to/script.js:28:1) at Module._compile (module.js:404:26) at Object..js (module.js:410:10)
73
Callback-driven парадигма function getUser(id, callback) { readConfig(config.json, function(err, config){ if (err) return callback(err); afterReadConfig(id, config, callback); }) } function afterReadConfig(id, config, callback) { dbConnect(config.host, function(err, db){ if (err) return callback(err); afterDbConnect(id, db, callback); }) } function afterDbConnect(id, db, callback) … Синтаксический шум – плата за Evented I/O
74
Callback-driven парадигма function getUser(id, callback) { readConfig(config.json, function(err, config){ if (err) return callback(err); afterReadConfig(id, config, callback); }) } function afterReadConfig(id, config, callback) { dbConnect(config.host, function(err, db){ if (err) return callback(err); afterDbConnect(id, db, callback); }) } function afterDbConnect(id, db, callback) … Синтаксический шум – плата за Evented I/O PROFIT
75
node-sync Function.prototype.sync = function(context, arguments…) Использует сопрограммы (coroutines) с++ Основан на node-fibers Позволяет писать синхронно на nodejs 0 ctave/node-sync laverdet /node-fibers
76
var Sync = require(sync); function getUser(id, callback) { Sync(function(){ var config = readConfig.sync(null, config.json); var db = dbConnect.sync(null, config.host); var user = db.getUser.sync(db, id); return user; }, callback) } Запускаем новое «волокно» (Fiber) node-sync
77
var Sync = require(sync); function getUser(id, callback) { Sync(function(){ var config = readConfig.sync(null, config.json); var db = dbConnect.sync(null, config.host); var user = db.getUser.sync(db, id); return user; }, callback) } «Волокно» вернет значение или ошибку в callback node-sync
78
var Sync = require(sync); function getUser(id, callback) { Sync(function(){ var config = readConfig.sync(null, config.json); var db = dbConnect.sync(null, config.host); var user = db.getUser.sync(db, id); return user; }, callback) } Функция readConfig вызывается синхронно и возвращает значение node-sync
79
var Sync = require(sync); function getUser(id) { var config = readConfig.sync(null, config.json); var db = dbConnect.sync(null, config.host); var user = db.getUser.sync(db, id); return user; }.async() То же самое, только проще (коллбэка нет) То же самое, только проще (коллбэка нет) node-sync
80
var Sync = require(sync); function getUser(id) { var config = readConfig.sync(null, config.json); var db = dbConnect.sync(null, config.host); var user = db.getUser.sync(db, id); return user; }.async() node-sync getUser(1234, function(err, user) { if (err) return console.error(err); console.log(user:, user); })
81
var Sync = require(sync); function getUser(id) { var config = readConfig.sync(null, config.json); var db = dbConnect.sync(null, config.host); throw new Error(something went wrong); return user; }.async() node-sync getUser(1234, function(err, user) { if (err) return console.error(err); console.log(user:, user); })
82
var Sync = require(sync); function getUser(id) { var config = readConfig.sync(null, config.json); var db = dbConnect.sync(null, config.host); var user = db.getUser.future(db, id); var friends = db.getUserFriends.future(db, id); return { user : user.result, friends : friends.result }; }.async() node-sync getUser и getUserFriends выполняются параллельно getUser и getUserFriends выполняются параллельно
83
var Sync = require(sync); function getUser(id) { var config = readConfig.sync(null, config.json); var db = dbConnect.sync(null, config.host); var user = db.getUser.future(db, id); db.getUserFriends(id, friends = new Sync.Future()); return { user : user.result, friends : friends.result }; }.async() node-sync другой способ получения «тикета» future
84
Callback-driven парадигма $pages = $db->fetchRows(SELECT * FROM pages); foreach ($pages as $page) { $contents = fetchUrl($page->url); }
85
Callback-driven парадигма $pages = $db->fetchRows(SELECT * FROM pages); foreach ($pages as $page) { $contents = fetchUrl($page->url); } OK
86
Callback-driven парадигма $pages = $db->fetchRows(SELECT * FROM pages); foreach ($pages as $page) { $contents = fetchUrl($page->url); } db.fetchRows(SELECT * FROM pages, function(err, pages){ pages.forEach(function(page){ fetchUrl(page.url, function(err, contents) { }) }); OK
87
Callback-driven парадигма $pages = $db->fetchRows(SELECT * FROM pages); foreach ($pages as $page) { $contents = fetchUrl($page->url); } db.fetchRows(SELECT * FROM pages, function(err, pages){ pages.forEach(function(page){ fetchUrl(page.url, function(err, contents) { }) }); x 100,000 OK
88
Callback-driven парадигма db.fetchRows(SELECT * FROM pages, function(err, pages){ var narrow = new Narrow(10, function(page, callback){ fetchUrl(page.url, function(err, contents) { }) narrow.pushAll(pages); });
89
Callback-driven парадигма db.fetchRows(SELECT * FROM pages, function(err, pages){ var narrow = new Narrow(10, function(page, callback){ fetchUrl(page.url, function(err, contents) { }) narrow.pushAll(pages); }); x10 - OK x 100,000 - OK
90
node-sync - использует сопрограммы (coroutines) streamline.js – транслирует код node-async – целый инструментарий для асинхронного программирования Ваша собственная flow-control библиотека :) Callback-driven решения? 0 ctave/node-sync
91
Масштабирование Nodejs – is just node (c) Ryan Dahl
92
Масштабирование Nodejs – is just node (c) Ryan Dahl 1 ядро CPU = 1 nodejs процесс
93
Масштабирование node-cluster Расширяемый Поддержка POSIX сигналов «Горячая» перезагрузка (zero-downtime) «Аккуратное» завершение (graceful shutdown) Автоматом перезапускает мертвые процессы Не оставляет «зомби» Автоматом определяет соличество ядер CPU Поддержка REPL Статистика PID файлы Логи
94
HTTP Cluster var http = require(http), cluster = require(cluster); var server = http.createServer(function(req, res){ res.writeHead(200, { Content-Type : text/plain }); res.end(Hello from + process.pid + \n); }); cluster(server).listen(3080); console.log(Server at (pid: %d), process.pid); Подключаем модуль cluster
95
HTTP Cluster var http = require(http), cluster = require(cluster); var server = http.createServer(function(req, res){ res.writeHead(200, { Content-Type : text/plain }); res.end(Hello from + process.pid + \n); }); cluster(server).listen(3080); console.log(Server at (pid: %d), process.pid); Оборачиваем http сервер в кластер и «вешаем» на 3080 порт Оборачиваем http сервер в кластер и «вешаем» на 3080 порт
96
HTTP Cluster var http = require(http), cluster = require(cluster); var server = http.createServer(function(req, res){ res.writeHead(200, { Content-Type : text/plain }); res.end(Hello from + process.pid + \n); }); cluster(server).listen(3080); console.log(Server at (pid: %d), process.pid); Дополнительно выводим PID
97
HTTP Cluster var http = require(http), cluster = require(cluster); var server = http.createServer(function(req, res){ res.writeHead(200, { Content-Type : text/plain }); res.end(Hello from + process.pid + \n); }); cluster(server).listen(3080); console.log(Server at (pid: %d), process.pid); $ node my_app.js Server at (pid: 9254) Server at (pid: 9255) Server at (pid: 9256) $ node my_app.js Server at (pid: 9254) Server at (pid: 9255) Server at (pid: 9256)
98
HTTP Cluster var http = require(http), cluster = require(cluster); var server = http.createServer(function(req, res){ res.writeHead(200, { Content-Type : text/plain }); res.end(Hello from + process.pid + \n); }); cluster(server).listen(3080); console.log(Server at (pid: %d), process.pid); $ node my_app.js Server at (pid: 9254) Server at (pid: 9255) Server at (pid: 9256) $ node my_app.js Server at (pid: 9254) Server at (pid: 9255) Server at (pid: 9256) $ curl Hello from 9255 $ $ curl Hello from 9255 $
99
HTTP Cluster var http = require(http), cluster = require(cluster); var server = http.createServer(function(req, res){ res.writeHead(200, { Content-Type : text/plain }); res.end(Hello from + process.pid + \n); }); cluster(server).listen(3080); console.log(Server at (pid: %d), process.pid); $ node my_app.js Server at (pid: 9254) Server at (pid: 9255) Server at (pid: 9256) $ node my_app.js Server at (pid: 9254) Server at (pid: 9255) Server at (pid: 9256) $ curl Hello from 9255 $ curl Hello from 9256 $ $ curl Hello from 9255 $ curl Hello from 9256 $
100
NodeJS + Много I/O Много Запросов + Event Loop = PROFIT
101
Юра Богданов 0 ctave Github: yuriybogdanov Twitter: bogdanov About.me: in/yuriybogdanov LinkedIn: Спасибо за внимание.
Еще похожие презентации в нашем архиве:
