Агрегация и интеллектуальный анализ проектов фриланс-бирж Докладчик: Савин Иван

Фриланс и его проблемы Фриланс – удаленная разовая работа Фриланс-биржа – веб-площадка публикации заказов Подходит для: Студентов очного обучения Быстрого заработка Накопления опыта и портфолио Проблемы: Много фриланс-бирж Конкуренция с опытными фрилансерами Нужно быстро оценить сложность и бюджет проекта по тексту

Помощники фрилансера Фриланс-биржиАгрегаторыLancery* Все проекты на одной ленте -++ Система фильтрации ++/-+/-+ Ключевые слова проекта --+ Мобильная версия --+ Оперативный ответ +-+ Прогноз бюджета --+ * Как видно из таблицы Lancery – это мой проект

Структура комплекса База данных Сборщик проектов Биржи Нормализатор Кластеризатор Фильтры Проекты Запуск каждую минуту Запуск после сборщика Запуск каждый час Фрилансер Цель нормализатора – выявление ключевых слов (меток) Цель кластеризатора – прогноз бюджета, анализ сложности и риска мошенничества

Нормализация Этапы нормализации: Разбиение текста на зоны важности Разбиение на термы, леммизация Фильтрация по части речи (сущ., глал., прил.) Подсчет частоты термов в документе Отброс стоп-слов Итоги нормализации: Метки быстрее воспринимаются человеком Поиск по навыкам, технологиям Векторная модель документа подойдет для более глубокого анализа

Особенности кластеризации Метрика Жаккара Адекватное сравнение неоднородных множеств Быстрота вычисления A B C D Алгоритм ROCK Сравнение количества общих соседей Поиск фактов, изложенных разными словами Иммунитет к выбросам (особенно актуально для текстов)

Масштабируемость кластеризации Проблема алгоритмов кластеризации Плохая масштабируемость (1500 новых проектов в сутки) Решение: периодическая кластеризация небольшими порциями К тому же: слежение за тенденциями, учет инфляции Проекты за 24 часа 3ч 2ч 1ч сейчас

Оперативная реакция В подавляющем большинстве случаев исполнитель выбирается из авторов первых 1-3 ответов Система оперативной реакции: Отправить ответ прямо с биржи Мобильная версия Автоматическая авторизация Скоро: «фрилансер спит – заказы идут»

Резюме проекта Посмотреть: | Мобильная версия: Более подробно: Методика анализа текста отмечена на конференциях «Телематика-2010», «МИЭМ-2010», «МИЭМ-2011» Победитель программы «У.М.Н.И.К.-2011»