Разработка приложения для формирования развернутого отчёта по исходному коду страниц WEB-сайта

УДК 004.7

РАЗРАБОТКА ПРИЛОЖЕНИЯ ДЛЯ ФОРМИРОВАНИЯ
РАЗВЕРНУТОГО ОТЧЁТА ПО ИСХОДНОМУ КОДУ СТРАНИЦ WEB - САЙТА
М.А. Момот, к.т.н., доцент; Я.И. Бибиков, студент гр. 356*
Национальный аэрокосмический университет им. Н.Е. Жуковского «ХАИ»

В данном исследовании были рассмотрены вопросы разработки информационной подсистемы сбора, накопления и визуализации статистики по внутренней информации, взятой из исходного текста страниц WEB - сайта. Данные собираются по принципу обхода всех страниц сайта, найденных по внутренним ссылкам. Дерево веб-страниц загружается на сервер и рассматривается отдельно, начиная с заданной начальной страницы. Проанализировав исходный код страницы, подсистема извлекает из него, интересующие теги и мета-теги, и анализирует информацию, которая в них содержится. Результат запроса отображает сводку по каждой странице запрашиваемого интернет ресурса в виде:
1) содержимого тега Title;
2) содержимого атрибута Keyword тега Meta;
3) содержимого атрибута Description тега Meta;
4) количество символов на странице;
5) количество внутренних ссылок;
6) количество внешних ссылок;
7) размер страницы.
Разработанное приложение включает в себя следующие модули:
- модуль интерфейса системы с возможностью авторизации\регистрации и отправки запросов на анализ интернет ресурса;
- модуль обработки запросов на анализ и управления потоками; модуль проверки ответа сервера (возвращённых данных);
- модуль, реализующий алгоритм сбора данных по интернет ресурсу;
- модуль работы с БД, в которую сохраняются собранные данные;
- модуль анализа статистических данных, полученных с модуля сбора данных;
- модуль визуализации и вывода результатов анализа.
Визуализации и вывод результатов производится в виде гистограмм и графиков с различным уровнем группировки и детализации. Полученные данные полезны как для вебмастеров сайтов, так и для специалистов по продвижению сайта в поисковых системах.
Научный руководитель к.т.н., доцент М.А. Момот.