Всем привет! 🙂
Несмотря на то, что зоной моих профессиональных интересов является Web-программирование, время от времени я интересуюсь такой темой, как SEO. Хотя бы для того, чтобы привлекать трафик на данный сайт, да и по работе иногда задачи, связанные с , появляются.
Итак, о чём сегодня будет идти речь?
Скажу сразу, что штука эта интересная, может многое, но и без претензий с пожеланиями к разработчикам не обошлось. В общем, к чему эти интриги… 🙂 Сами обо всём узнаете дальше.
Поехали! 🙂
Что такое Netpeak Spider?
О том, для чего нужна данная SEO программа, можно узнать, расшифровав её название.
Если вы интересуетесь SEO, то, наверняка, вам знакома компания Netpeak, т.к. статьи её блога находятся в ТОПе поисковой выдачи по многим запросам (даже по запросу SEO , обходя Википедию), а также её продукты, о которых часто упоминается на сторонних ресурсах, занимающих ТОП по другим запросам.
Так что, как ни крутите, если в SEO вы не первый день, то о Netpeak вы просто обязаны были слышать 🙂 Но, если быть точными, разработчиками Netpeak Spider является Netpeak Software, которая является частью Netpeak Group.
Ну, а Spider — это, в переводе с английского, «паук». Паук плетёт паутину или сеть, другими словами. А поскольку Интернет — это тоже сеть, то спайдерами часто называют программы, которые занимаются поиском информации и дальнейшей обработкой собранных в Интернете данных.
Такая вот игра слов 🙂
Какую же информацию собирает в сети Нетпик Спайдер?
Поскольку Netpeak, как уже говорилось, является компанией, специализирующейся на SEO разработках, то, как ни странно, данный продукт позволяет провести комплексный SEO аудит сайта, взглянув на него глазами поисковых роботов.
Таким образом, Netpeak Spider может быть полезен при проведении следующих мероприятий:
- Технический SEO аудит сайта: поиск битых ссылок, ошибок в коде, плохо настроенных редиректов, дублей контента и метаданных, title, description и др.
- Анализ ссылочной массы веб-сайта в общем (внешней и внутренней), а также для каждой его отдельной страницы.
- Проверка сайта на SEO ошибки, отрицательно влияющих на его позиции в поисковой выдаче и usability: битые картинки, ссылки на несуществующие страницы (возвращающие код 404 HTTP запроса к таким страницам) и т.д.
- Установка причины неработоспособности сайта (бесконечный редирект) или отдельных его страниц (404, 500, 503 код ответа сервера).
- Анализ SEO оптимизации сайта, проведённой сторонними исполнителями, для контроля её качества.
Собственно говоря, необходимость проведения очередного SEO аудита и свела меня с Netpeak Spider, который, как уверяют его разработчики, учитывает больше параметров при анализе (54) и позволяет выявить большее количество ошибок (62) по сравнению с конкурентами, обращая внимание даже на незаметные с первого взгляда мелочи.
SEO аудит с помощью Нетпик Спайдер
Протестировать возможности данной программы SEO анализа я решил, естественно, на примере текущего сайта — http://сайт.
Чтобы это сделать, для начала нужно Netpeak Spider скачать. Для этого, в свою очередь, нужно завести Netpeak аккаунт путём регистрации на официальном сайте и скачать Launcher, через который уже и можно будет скачать Netpeak Spider и прочие продукты данной компании.
Несмотря на то, что данный продукт платный, его можно бесплатно использовать в течении 14 дней без каких-либо ограничений в возможностях, т.е. с полным функционалом.
А это, кстати, весомое преимущество над другими SEO инструментами, например , функционал которого на пробном периоде весьма ограничен: анализировать можно только один сайт, количество запросов ограничено и т.д.
После установки программы на свой ПК (использовать Netpeak Spider можно как на Windows машинах, так и на Mac OS) единственное, что нужно сделать для запуска SEO анализа сайта, это ввести URL сайта в адресную строку:
При вводе доменного имени сайта в строку поиска, анализ ресурса происходит с учётом HTTPs протокола по умолчанию. Поэтому, если у вас ресурс работает по HTTP (как у меня), то указывайте протокол явно.
Перед запуском SEO анализа сайта программа также предлагает выбрать параметры, на основании которых он будет производиться:
Как видите, можно даже формировать и загружать шаблоны параметров. Думаю, компании, оказывающие услуги SEO продвижения своим клиентам, оценят данный функционал по достоинству 🙂
Для запуска самого сканирования ресурса нужно нажать на кнопку Старт , расположенную рядом с полем для ввода URL сайта.
После SEO анализа ресурса на предмет ошибок (прошёл он, кстати, достаточно быстро — за 4 с копейками минуты, при том что на сайте больше 150 страниц) я получил следующую картину на вкладке Отчёты , на которую устанавливается фокус после запуска сканирования:
Одной из критичных ошибок было отсутствие значения description у некоторых страниц. Меня данная SEO ошибка сайта, честно говоря, немного обескуражила, потому что я старательно заполняю данное поле у каждой публикуемой статьи.
Однако, оказалось, что ошибка относилась к страницам категорий, для которых я действительно забыл указать значение для тэга meta description.
После внесения правок на сайте и запуска повторной проверки в Netpeak Spider, данная ошибка исчезла, что вы и могли заметить на скриншоте выше. Т.е. программа реагирует на внесённые изменения мгновенно.
Также данная SEO программа помогла мне обратить внимание на висячие 301 редиректы, которые я забыл убрать из.htaccess, когда переименовывал url существующих статей и прописывал там перенаправление со старых адресов на новые.
Однако, помимо реальных, пропущенных мною редиректов, были и какие-то «левые» следующего формата:
Что самое интересное, эти фейковые «битые» редиректы были разные при различных сканированиях 🙂
Данное замечание было справедливо также и для других пунктов отчёта, а также целых блоков ошибок, которые при повторных запусках SEO анализа сайта неизвестно куда пропадали или появлялись. Это при том, что на самом ресурсе никаких изменений не производилось.
Например, Netpeak Spider для некоторых страниц показал 503 код ошибки, хотя по факту они доступны и индексируются:
Для уверенности я решил проверить сомнительный URL через эмулятор поисковых роботов , но результат оказался тот же. Да и в индексе поисковых систем данные страницы доступны:
Разгадка данного поведения Netpeak Spider оказалась весьма банальной и заключалась в обширных настройках SEO программы и, в частности, в количестве потоков сканирования, которых по умолчанию было 10:
Установив 1 поток, я получил реальную картину дел на своём сайте, которая оказалась более оптимистичной, чем на скринах выше.
К чему я всё это рассказал? К тому, что настроек у Netpeak Spider очень много, и они позволяют сконфигурировать программу на любой вкус и цвет, удовлетворяя потребности самых искушенных пользователей.
Благо, что у каждого пункта есть всплывающие подсказки, позволяющие понять суть каждой настройки и сконфигурировать Netpeak Spider должным образом даже новичку.
Если же даже они вам не помогут, то вы всегда можете обратиться в техническую поддержку Нетпик Спайдер через официальный сайт, ссылку на который я приводил ранее.
Ещё одной проблемой моего сайта, на которую я обратил внимание благодаря Netpeak Spider, стало отсутствие заголовка h1 на страницах категорий статей, который был просто не учтён используемым мною шаблоном.
Естественно, я это исправил, тем более, что программа отнесла данное упущение к ошибкам в SEO средней критичности.
Очередным резонным замечанием в адрес моего сайта была работа по протоколу HTTP, в то время как уже несколько лет Google рекомендует (чуть ли не требует) от сайтов работу по защищённому HTTPs протоколу.
С этим я пока что ничего не могу поделать, т.к. — занятие ответственное и весьма трудозатратное, к которому нужно подходить взвесив все плюсы и минусы, о чём более детально вы можете прочитать в статье по ссылке.
Но это бездействие временное и в скором будущем, я думаю, что переключусь на HTTPs.
Остальные же ошибки, найденные Netpeak Spider на моём сайте, были вызваны особенностями CMS WordPress, на базе которой он и разработан. Они касались множества лишних ссылок формата http://url_статьи/feed и http://url_статьи?replytocom=123, которые я закрыл от индексации, но физически они на сайте присутствовали.
Так что если у вас будут обнаружены те же самые проблемы, то не расстраивайтесь — нас таких много 🙂 А если серьёзно, то большого вреда данные нюансы WordPress вам всё равно не принесут. По крайней мере, такой информации в сети я не встречал.
Теперь пару слов об ошибках, которые можно обнаружить на своём сайте с помощью Netpeak Spider, но с которыми я не столкнулся, поэтому и не упомянул о них:
- дубли страниц (url), контента и мета-данных;
- страницы сайта с большим количеством редиректов (включая бесконечный);
- битые изображения;
- страницы без внутренних ссылок (нарушают естественное распределение ссылочного веса);
- несколько одноимённых meta тэгов (title, description, h1) в рамках одной страницы;
- страницы с малым контентом, длинными url, большим временем загрузки, слишком тяжёлыми изображениями;
- url сайта, заблокированные в robots.txt (да, Netpeak Spider может его считывать и анализировать), а также автоматически проводится проверка наличия данного файла на сайте;
- страницы с одинаковым title и description (оказывается, это тоже грех в мире SEO), а также имеющие слишком длинные/короткие их значения.
Помимо перечисленных критериев SEO аудита сайта, проводимого программой Нетпик Спайдер, в данном продукте существует ещё много дополнительных плюшек в виде различного рода инструментов, о которых я тоже хотел бы сказать пару слов.
Встроенные SEO инструменты Netpeak Spider
В самой программе для SEO анализа сайта их можно найти в пункте главного меню Инструменты . Эх, никакой интриги 🙂
Первым из них является анализатор исходного кода страницы и ответа сервера на HTTP запрос (заголовки, код ответа и, собственно, тело), который выглядит вот так:
По сути, он является неким симбиозом и его же инспектора исходного кода, который открывается с помощью комбинации клавиш Ctrl+U.
Если данный инструмент не представляет собой ничего революционного, то аналогов следующего я на данный момент ещё не встречал.
Речь идёт о PageRank Checker — инструменте, позволяющем проверить PageRank, т.е. относительный вес страницы сайта, который выглядит следующим образом:
Формула расчёта представлена вверху экрана.
Полезность данной фишки заключается в том, что он позволяет понимать, на каких страницах концентрируется ссылочный вес.
Это, в свою очередь позволяет корректировать стратегии ссылочного продвижения (ссылками лучше продвигать страницы с низким ссылочным весом, на тяжеловесные пользователь и так попадёт по внутренним ссылкам).
А также калькулятор PageRank позволяет определять страницы, которые «прожигают» ссылочный вес, т.е. на которые ведёт много внутренних ссылок, но целевая страница либо недоступна, либо не очень важна для поискового продвижения.
Следующим интересным SEO инструментом из комплекта Netpeak Spider является валидатор XML Sitemap карты сайта, который выглядит следующим образом:
С его помощью можно проанализировать XML карту сайта на предмет ошибок и соответствия её требованиям поисковых систем (Google, Bing, Яндекс). Также здесь имеется возможность сообщить поисковикам о наличии на сайте карты.
Ну, а для тех, у кого карты ещё нет, Netpeak Spider как раз имеет подходящий инструмент, позволяющий сделать карту сайта XML, который выглядит так:
Мелочь, но всё же приятно, когда генератор XML карты сайта под рукой, и не нужно тратить силы на его поиски в Интернете 🙂
Кроме всего перечисленного, Netpeak Spider позволяет экспортировать собранные в процессе SEO аудита данные в Excel документы для предоставления их клиентам, начальству для отчётности или просто для себя любимого, чтобы вернуться к анализу собранных программой данных позже.
Работа с Netpeak Spider: выводы
Несмотря на некоторые недостатки и спорные моменты при работе с программой, работой с Netpeak Spider я остался доволен.
SEO аудит с её помощью был проведён в полной мере, а также данная программа обратила моё внимание на некоторые моменты, о которых мне не сообщали другие SEO сервисы.
При этом Netpeak Spider достаточно быстро работает и имеет понятный и удобный интерфейс, делающий её использование максимально удобным.
Если оценивать данный продукт по 10-бальной шкале, то Netpeak Spider, как по мне, заслуживает 8-ку.
Один бал я срезал за технические моменты, а второй за то, что продукт коммерческий. Хотя для студий, занимающихся SEO продвижением профессионально, да и обычным веб-мастерам, которые хотят сэкономить и произвести SEO оптимизацию сайта самостоятельно, 120$ в год или 14$ в месяц вряд ли нанесут серьёзный урон кошельку.
Да, я не опечатался по поводу экономии на SEO продвижении за счёт платной программы. Дело в том, что если вы обратитесь к профессионалам (которые с большой вероятностью будут пользоваться тем же Netpeak Spider или аналогами), то стоимость их услуг будет в разы больше, чем приобретение лицензии.
Также стоит отметить, что рассмотренные в данной статье возможности характерны для Netpeak Spider 3.0, релиз которой состоялся сравнительно недавно. Так что если вы ещё пользуетесь предыдущими версиями, данная новость — отличный повод скачать свежачок и оценить новые функции.
Если же вы не работали с данным продуктом вовсе, то, несмотря на мою оценку и данный обзор, рекомендую сформировать своё собственное мнение.
Напомню, что скачать Netpeak Spider вы можете . При скачивании по данной ссылке вы дополнительно получите скидку в 10%, как участник партнёрской программы. Поэтому не нужно жадничать и выдумывать способы обхода реферальных ссылок 🙂
На этом у меня сегодня всё. Пишите ваши отзывы в комментариях (я их читаю, честно 🙂), там же делитесь мнениями и опытом использования Netpeak Spider для решения своих задач и не забывайте делиться публикацией с друзьями.
Провели SEO анализ своего сайта — помогите сделать его и своим товарищам! Уверен, что лишним он точно не будет, как и в моём случае, когда я думал, что мой сайт по SEO идеален 🙂
Удачи всем и до новых встреч! 🙂
P.S. : если вам нужен сайт либо необходимо внести правки на существующий, но для этого нет времени и желания, могу предложить свои услуги.
Более 5 лет опыта профессиональной разработки сайтов. Работа с
Netpeak Spider – это программный продукт для проведения комплексного аудита сайта. При помощи программы можно проводить анализ Сео параметров сайта и получать основные технические показатели.
Основные возможности
Netpeak Spider позволяет собирать данные для проведения анализа следующих Сео показателей:
- Проверка индексации страниц сайта.
- Коды ответа сервера.
- Время ответа сервера.
- Анализ заполнения тега Title.
- Анализ заполнения метатега Description.
- Анализ заполнения заголовка страницы сайта H1 и подзаголовков H2 – H6.
- Определение объема контента на страницах сайта.
- Контроль оптимизации графики на сайте.
- Заполнение тега rel=”canonical” и атрибутов пагинации
- Определение дубликатов контента, тегов Title, Description.
- Выявление «битых ссылок».
- Подсчет внутреннего Page Rank.
- Проверка и генерация «Карты сайта».
- Анализ структуры сайта.
- И еще ряд дополнительных возможностей.
Как начать работать с Нетпик Спайдер
Для начала работы необходимо зайти на сайт Netpeak Software и зарегистрироваться или активировать свой аккаунт. Это надо сделать для получения доступа к скачиванию программы.
Владельцы продукта предоставляют пользователям начальный период для ознакомления с работой инструмента сроком 14 дней. Далее уже придется оплачивать работу с продуктом.
После скачивания и установки программы на свой ПК, приступаем к работе.
Интерфейс программы
Основной экран программы состоит из таких частей:
- Верхнее меню.
- Тулбар.
- Основная рабочая область.
- Информационный блок – содержит расширенную информацию по строкам из основного блока.
Верхнее меню
Верхнее меню состоит из 11 пунктов и позволяет работать со всеми возможностями программы.
- Пункт «Проект» позволяет управлять проектами: создавать новые, сохранять результаты, удалять ненужные, открывать и работать с ранее сохраненными проектами.
- Пункт «Список URL»
дает возможность задавать список адресов, которые пользователю необходимо просканировать для анализа. Есть несколько вариантов для задания списка, набирать вручную, поместить из буфера обмена или файла, вставить из «Карты сайта».
Также эти списки можно сохранять, редактировать, удалять. - Пункт «Настройки» позволяет настроить процессы сканирования. На этом пункте подробнее остановимся немного позже.
- Пункт «Сканирование» служит для запуска, остановки и перезапуска краулера.
- Пункт «Анализ» дает доступ к информации по дубликатам, входящим ссылкам, цепочкам canonical, позволяет рассчитать внутренний Page Rank.
- Пункт «База данных» используется для быстрого доступа к данным по ссылкам: входящим, исходящим, внутренним и внешним. А также к данным по изображениям, списку ошибок, редиректов, канонических страниц, заголовков.
- Пункт «Инструменты» позволяет получить доступ к анализу исходного html-кода, рассчитать внутренний Page Rank, произвести валидацию «Карты сайта» Sitemap, генерировать Sitemap.
- Пункт «Экспорт» служит для выгрузки всех доступных отчетов в форматах xlsl или csv. Можно выгружать все отчеты, либо только те, которые необходимо.
- Пункт «Переход» упрощает навигацию по блокам программы.
- Пункт «Окно» дает возможность работать с несколькими окнами одновременно.
- Пункт «Помощь» служит для оказания помощи пользователям, дает возможность для связи с представителями компании, доступ к новостям на сайте, информацию об изменениях в различных версиях программы.
Тулбар
Тулбар предназначен для запуска сканирования сайтом. Он дублирует большинство возможносте пункта меню «Сканирование».
Позволяет запускать, останавливать и перезапускать процесс сканирования сайта.
Кроме этого можно получить быстрый доступ к инструментам и экспорту отчетов, выгрузить текущую таблицу или обновить ее, произвести поиск по результатам сканирования, настроить сегмент.
Боковой блок – настройки и отчеты.
Вкладка «Параметры»
В начале работы необходимо задать параметры сканирования данных. Эта вкладка расположена в боковом блоке.
Если Вы запускаете программу впервые, то оставьте параметры обхода сайта по умолчанию. В дальнейшем будете выбирать те настройки, которые Вас интересуют.
Вкладка «Отчеты»
Эта вкладка содержит отчеты по собранным показателям сайта. Состоит из 4 подпунктов:
- Ошибки. Можно смотреть отчеты, сгруппированные по типам ошибок и степени их критичности.
- Сводка. Содержит сводную информацию по результатам работы программы.
- Структура сайта. Формирует структуру сайта.
- Парсинг. Отображает результаты парсинга.
Основная рабочая область
Состоит из 3 вкладок:
- Все результаты
- Отфильтрованные результаты
Вкладка «Дашборд»
Эта вкладка выполняет 2 функции:
1. Отображает процесс сканирования сайта. Это позволяет контролировать работу краулера и при необходимости вмешиваться и производить дополнительные настройки сканирования.
2. После завершения работы отображает сводные данные в виденаглядных и доступных графиков.
Справа расположены данные о найденных ошибках, они структурированы по степени тяжести, категориям и подкатегориям.
Далее оптимизаторам уже придется включать свою голову и разбираться, что делать со всей этой информацией. Какие ошибки исправлять в первую очередь, какие во вторую, а на какие можно и не реагировать.
Вкладка «Все результаты» содержит таблицу со всеми результатами работы программы по анализу сайта.
Вкладка «Отфильтрованные результаты» отображает данные по какой-то отдельной части сайта или конкретной проблеме.
Настройка программы
Доступ к настройкам возможен через соответствующий пункт «Верхнего меню». Настройки распределены по 10 вкладкам, давайте кратко пройдемся по ним.
Для указания определенной возможности надо активировать соответствующий чек-бокс.
- Вкладка «Основные» . Позволяет выбрать язык интерфейса программы, настроить скорость сканирования и задать базовые настройки сканирования.
- Вкладка «Продвинутые»
. Здесь настраиваем сканирование страниц, согласно директивам из различных источников: robots.txt, Cannonical, refresh, и других.
Также указываем сканировать или нет содержимое тегов link, условия остановки сканирования, обрабатывать ли cookies и страницы с четырехсотыми (4хх) кодами ответов. - Виртуальный robots. Позволяет тестировать файлы robots.txt для указанного сайта. Это полезно, если Вы не уверенны в том, как сработают директивы файла для вашего ресурса.
- Вкладка «Парсинг» . Предназначена для настройки сбора информации на сайте по регулярным выражениям, css селекторам, атрибутам XPath.
- Вкладка User-Agent предназначена для указания типа сканирующего бота для работы программы.
- Вкладка «Ограничения» служит для задания ограничений при сканировании и настройки критериев для определения ошибок, максимальная длина тегов, количество ссылок и т.п.
- Вкладка «Правила» позволяет ввести дополнительные условия для сканирования.
- Вкладка «Экспорт» содержит настройки для выгрузки результатов. Формат файла XLSL или CSV, региональные настройки, настройки вывода ошибок, формирование названия файлов экспорта, выделение цветом ячейки при выгрузке.
- Вкладка «Аутентификация» дает возможность ограничить доступ к сайтам.
- Вкладка «Прокси» предназначена для настройки прокси сервера, если для этого есть необходимость.
В начале эксплуатации нет большой необходимости вникать в тонкости настройки программы. Используйте настройки по умолчанию. При дальнейшей работе постепенно освоите все возможности и настройки у Вас не будут вызывать затруднений.
Анализ больших сайтов
В обновленной версии программы значительно улучшились скоростные показатели обработки сайтов. Особенно это заметно при работе с большими сайтами. Наряду со значительным увеличением сканирования, появилась возможность приостановки этого процесса, и продолжения в любой удобный момент времени.
То есть обработку можно разбивать на несколько частей.
Также есть возможность повторного сканирования данных в отдельных таблицах и даже отдельных страниц.
Все это делает работу над исправлением ошибок более наглядной и комфортной.
Дополнительные возможности
Программа позволяет хранить всю историю работы с ней. Так, приступая работе с сайтом и проводя его аудит, сохраняем результаты первого сканирования. По мере работе над ошибками проводим промежуточные прогоны программы, и тоже их можно фиксировать.
И в конце работы проводим финальное сканирование. Это дает возможность сравнить итоговые показатели с начальными, и в целом оценить эффективность работ по внутренней оптимизации сайта. Эти данные можно использовать при работе над отчетами заказчику на продвижение сайта.
В одной публикации невозможно подробно описать весь функционал Netpeak Spider. Более детально можно узнать о тонкостях работы с программой лишь самому попробовав ее в деле.
Стоимость программы
Для работы с программой необходимо приобрести лицензию, стоимость которой равна 14 $ в месяц. При покупке лицензии на более долгий срок, ее стоимость снижается. Так годовая лицензия обойдется в 117.60 $, то есть по 9.80 $ в месяц. Если Вы приобретаете более 1 лицензии, то стоимость каждой также снижается.
Я являюсь партнером компании «Netpeak Software» и для читателей моего блока есть возможность приобрести лицензию на работу с программой с 10% скидкой . Для этого и при покупке следует указать промокод inetmktNS.
Что мы получаем при работе с Netpeak Spider?
Используя в своей работе инструменты программы Netpeak Spider, мы получаем возможность проведения качественного аудита сайта. Это дает нам контроль над всеми основными техническими и Сео параметрами сайта.
Выявление и исправление ошибок внутренней оптимизации сайта улучшает его Seo параметры. Оценка качества перелинковки позволяет правильно распределить внутренний вес внутри сайта и улучшить показатели Page Rank для важных страниц. И это только основные плюсы программы.
Эти мероприятия позволят нам повысить качество сайта, что будет положительно оценено, как посетителями, так и поисковыми системами.
Страницы сайта заслуженно займут места в ТОПе, что в конечном итоге приведет новых клиентов в Ваш бизнес и повысит доход и престиж Вашей компании.
Веб-сайты, содержащие десятки, а то и сотни тысяч страниц, руками не проверишь, для адекватного SEO-аудита используют программы-краулеры, благодаря которым ресурсы сканируются в автоматическом режиме. Обычно для этих целей используются две общепризнанные во всём мире программы:
- (промокод в конце статьи)
В результате сканирования вебмастера могут увидеть полную картину технического состояния сайта с точки зрения поискового продвижения. Опытный SEO-специалист интерпретирует результаты и найдет корреляции с получаемым трафиком и позициями сайта в поисковой выдаче.
Краткий обзор Netpeak Spider
Интерфейс выглядит вот так:
Можно переключиться на Дашборд, который покажет общую картину по техническому состоянию сайта:
В этом видео CEO Netpeak Software Alex Wise рассказывает об обновлённом инструменте Netpeak Spider 3.0:
Это десктопная программа для анализа технической составляющей веб-сайтов, которая сканирует ресурсы на предмет ошибок с точки зрения поискового продвижения (SEO), её основные возможности:
- Проверка 50+ основных SEO-параметров;
- Определение 60+ ключевых ошибок внутренней оптимизации;
- Анализ входящих и исходящих внутренних ссылок;
- Обнаружение битых ссылок и редиректов;
- Дублирование контента: страниц, Title, Meta Description, заголовков h1 и т.д.;
- Учёт инструкции по индексации (robots.txt, Meta Robots, X-Robots-Tag, Canonical);
- Рассчет внутреннего PageRank страниц для улучшения внутренней перелинковки сайта;
- Настройка собственных правил сканирования для обхода определённой части сайта;
- Сохранение и экспорт полученных данных для последующей работы.
Краткий обзор Screaming Frog SEO Spider
Интерфейс программы:
В видео вы найдете практические рекомендации по работе со Скримин Фрог, а также узнаете основные моменты, на которые стоит обратить внимание при проведении постраничной оптимизации: советы по написанию title, description, заголовков, формированию URL-адресов страниц и многое другое.
Screaming Frog SEO Spider - аналог Netpeak Spider’a со своими плюсами и минусами. Что умеет программа:
- Поиск битых страниц и страниц с редиректами, отображение анкоров;
- Поиск страниц с короткими, длинными, дублирующимися тегами title / description;
- Поиск страниц, на которых тег h1 дублируется или отсутствует;
- Поиск изображений с отсутствующими и длинными атрибутами alt и title тега img;
- Отображение информации по атрибутам rel=»canonical», rel=»next», rel=»prev» тега link;
- Выгрузка содержимого по регулярному выражению (например, парсинг всех тегов).
- Отображение структуры сайта и уровня вложенности страниц;
- Проверка времени загрузки страниц;
Мне нравятся обе программы, но N etpeak S pider выигрывает по удобству и скорости, а это важно, когда имеешь дело с большим e-commerce. Ниже таблица от команды Netpeak Software с подробным описанием основных фич программы Netpeak Spider по сравнению с Screaming Frog SEO Spider.
| В чём Netpeak Spider превосходит Screaming Frog SEO Spider | |
|---|---|
| Название фичи | Пояснение |
| Критичные фичи | |
| Оптимальное потребление оперативной памяти | Мы провели исследование, просканировали на идентичных настройках 1 млн страниц сайта opera.com. Получили такой результат по потреблению оперативной памяти и времени сканирования. 1. SFSS пробил 1KK URL в режиме Memory за 18 часов 38 минут и потратил 21 359 Mb оперативки. Сохранение этого количества урлов после сканирования заняло 11 часов. Вывод: Netpeak Spider выигрывает по потреблению оперативной памяти по сравнению с SFSS в обоих режимах. |
| Топовая скорость сканирования сайтов | Недавно мы провели сравнение Netpeak Spider 3.0 c известными продуктами (Screaming Frog SEO Spider, WebSite Auditor, SiteBulb) по трём техническим параметрам: потреблению оперативной памяти, потреблению памяти на жёстком диске, скорости сканирования. Детально об этом можете почитать по ссылке: https://goo.gl/6EUU25 Если кратко, то при анализе небольшого сайта (10К страниц) по потреблению оперативной памяти лидер Netpeak Spider (ближайший конкурент потребляет в 2 раза больше), а по скорости сканирования мы идём наравне со Screaming Frog SEO Spider (в режиме Memory). А при анализе большого сайта (100К страниц) у нас самое быстрое сканирование, которое потребляет меньше всего оперативной памяти. |
| Фокус на устранении SEO-ошибок | 1. Netpeak Spider определяет в 2 раза больше ошибок, чем Screaming Frog SEO Spider. Более того, на боковой панели «Отчёты» есть вкладка «Ошибки», в которой все проблемы сайта разбиты по степени критичности. Программа покажет вам только ту информацию, которая есть на сайте и на которую нужно обратить внимание. Также можно увидеть ненайденные и отключёные ошибки → они удобно отфильтровываются в самом низу вкладки «Ошибки». 2. Можно фильтровать результаты по определённой ошибке по клике на неё в боковой панели → в таблице отобразятся колонки, уникально подобранные для конкретной ошибки (а если необходимо, можно включить все колонки). 3. URL c ошибками подсвечиваются в таблице цветами в зависимости от степени критичности, причём как в самой программе, так и при экспорте в Excel. 4. При клике на некоторые ошибки есть отдельная кнопка «Отчёт по ошибке» → открывается отчёт с дополнительной информацией, заточенной под работу именно с этой ошибкой («Битые ссылки», «Ссылки с неправильным форматом URL», «Редирект, заблокированный в robots.txt», «Canonical, заблокированный в robots.txt», «Изображения без атрибута ALT», «Внутренние nofollow ссылки», «Внешние nofollow ссылки»). 5. Очень удобно использовать в связке с функцией сегментации. |
| Управление параметрами сканирования | 1. В Netpeak Spider можно включать и отключать пробивку определённых параметров (title, description, canonical, ссылки etc.). Это позволяет ускорить сканирование, уменьшить потребление оперативной памяти и ресурсов процессора. Если сайт очень большой, то появляется возможность его просканировать, выбрав только самые нужные параметры. 2. После пробивки из вкладки «Параметры» можно быстро переходить к определённому параметру в текущей таблице → достаточно просто кликнуть на нужный параметр, и таблица прокрутится до необходимой колонки. 3. На этой же вкладке можно использовать шаблоны параметров сканирования: как преднастроенные, так и свои личные именно для ваших задач. 4. Тамже можно использовать быстрый поиск по параметрам, ведь их достаточно много 5. Если вы уже просканировали полсайта с одними параметрами и поняли, что какие-то параметры нужно выключить или наоборот включить, можно остановить сканирование, внести нужные изменения в выборку параметров и продолжить краулинг дальше: новые настройки сработают сразу же (разумеется, у пробитых до этого URL не будут видны параметры, которые только что были включены). |
| Функция сегментации данных | 1. После завершения сканирования можно изменить представление данных в программе, ограничивая их определённым сегментом (аналогично сегментации в Google Analyics). Можно настроить сегмент самостоятельно или применить как сегмент любой фильтр, доступный в программе. 2. Сегментация → это очень мощная аналитическая функция, у которой есть множество применений в программе. Например, выберите в отчёте «Структура сайта» какую-то категорию, примените как сегмент и теперь в отчёте «Ошибки» вы увидите только те ошибки, которые есть в этой категории. И наоборот → выберите пункт «Высокая критичность» на вкладке «Ошибки» (таким образом будут отфильтрованы все страницы с высокой критичностью), примените как сегмент и перейдите в отчёте «Структура сайта» - вы увидите все категории сайта, где присутствуют критические ошибки. 3. Применение сегментов влияет на все отчёты в программе, включая «Ошибки», «Сводку», «Структуру сайта», «Дашборд» и т.д. 4. Можно как воспользоваться преднастроенными сегментами, так и сохранять собственные. |
| Уникальный расчёт внутреннего PageRank | В Netpeak Spider мы реализовали уникальный расчёт внутренного PageRank. Этот инструмент поможет вам узнать настоящие инсайты о проекте: 1. Как именно распределяется ссылочный вес по сайту и где он концентрируется. 2. Какие неважные для поискового продвижения страницы получают избыточный вес. 3. Какие страницы являются «висячими узлами» и просто «сжигают» входящий ссылочный вес. К тому же, мы максимально доступно изложили особенности этого алгоритма в статье на нашем блоге: https://goo.gl/91cmYs |
| Комплексный анализ структуры сайта | 1. В панели «Отчёты» на вкладке «Структура сайта» отображается информация по всей структуре сайта, а не только топ-20 страниц, как во фроге. 2. Можно выгрузить полную структуру сайта с помощью функции расширенного копирования. 3. На этой вкладке можно нажать на любой пункт и таким образом отфильтровать все страницы данной категории. 4. Очень удобно использовать в связке с функцией сегментации. |
| Специальные статус-коды | 1. Доступен быстрый просмотр уникальных статус-кодов: например, 200 OK & Disallowed, что означает, что страница отдаёт нормальный ответ сервера, но страница закрыта от индексации в robots.txt. Таким образом, в одной колонке «Код ответа сервера (или Status Code)» вы увидите все инструкции, заданные для страницы. 2. Определение этих параметров заложено в ядре программы по умолчанию, то есть в настройках или параметрах вы можете выключить определение соответствующих инструкций по индексации, однако в этой колонке данные всё равно будут показываться и анализироваться на вкладе «Сводка» на панели «Отчёты». |
| Кастомная фильтрация результатов | 1. В основной таблице есть отдельная вкладка с отфильтрованными данными. Она отображается при выборе ошибки, определённого параметра в сводке и вообще любого раздела данных из боковой панели → таким образом можно работать с отфильтрованными результатами, не меняя таблицу со всеми результатами. 2. Также можно задать более сложные правила фильтрации самостоятельно: 3. Можно использовать преднастроенные фильтры, доступ к которым есть из разных мест программы («Дашборд» или боковая панель «Отчёты»). |
| Инструмент валидации XML Sitemap | 1. Валидатор найдёт более 30 ошибок файлов Sitemap и файлов индекса Sitemap. 2. Инструмент автоматически определит файлы индекса Sitemap (это не нужно самостоятельно указывать) и распакует gz-архивы. |
| Адаптивный дашборд | Дашборд отображается в двух разных состояниях в зависимости от этапа сканирования: 1. Во время сканирования здесь отображается краткая сводка с текущими настройками. А значит, здесь можно заметить неверные настройки, остановить сканирование и внести изменения. 2. После сканирования/на паузе на дашборде отображаются графики и диаграммы с полезными инсайтами о просканированных страницах. Они интерактивны → при нажатии на любой элемент соответственно отфильтруются результаты. Можно полностью экспортировать скриншот дашборда в.png и использовать в работе. |
| Быстрый экспорт любых данных | Экспорт данных в Netpeak Spider ограничен только вашим воображением 1. Можно настроить параметры экспортируемых файлов, как нравится: задать собственные имена экспортных файлов (с датой, названием проекта и название самого отчёта), включать/выключать подсказки по параметрам в XLS-отчётах, а также цветовую подсветку ячеек/строк в зависимости от критичности ошибки. 2. Выгрузка данных происходит именно так, как они отображаются в таблице с результатами (с учётом сортировки, группировки, порядка и ширины колонок, подсветки URL цветом, подсказок, если это XLSX). 3. В один клик экспортируется текущая таблица, а также все ошибки, все отчёты по ошибкам, все данные парсинга. 4. Можно за 1 клик экспортировать специальные отчёты с дополнительной информацией. Например, мы определяем определяем сущность «битая страница» (в которую входит очень много правил, а не только ссылки на 4xx-5xx страницы), потому все ссылки на битые страницы мы определяем и делаем на их основе специальный преднастроенный отчёт, который можно быстро экспортировать. 5. Из текущей таблицы результатов можно в 1 клик выгрузить в txt-файл только список URL. 6. После экспорта можно по нажатию на уведомление быстро открыть папку назначения с сохранённым отчётом. 7. Можно экспортировать даже данные всех вкладок бокового меню → просто выделить нужную область и воспользоваться функцией «Расширенное копирование». |
| Внутренняя база данных для работы с огромным количеством URL | Прямо внутри программы можно работать с внутренней базой данных, что особенно полезно для работы с миллионами URL: 1. Можно открыть любой параметр из базы данных (входящие/исходящие/внутренние/внешние ссылки, изображения, заголовки H1-H6, Canonical, Redirects, ошибки) для одного URL, выбранных URL, отфильтрованных URL или вообще всех результатов текущей таблицы. |
| Продвинутая таблица результатов | В нашем краулере вы сможете без проблем работать с большим количеством страниц (50 000, 100 000 и даже ещё больше): таблица Netpeak Spider лучшая на рынке и намного более оптимизирована для работы с большими объёмами данных. Вам доступны такие функции: 1. Сортировка данных. 2. Группировка данных. 3. Работа со столбцами: включение/выключение видимости, перенос, прикрепление, изменение размеров. 4. Подсветка ошибок в зависимости от степени критичности. 6. Расширенная работа с контекстным меню: помимо базовых функций → быстрый доступ к базе данных, быстрый переход к инструменту анализа исходного кода и HTTP-заголовков, возможность открытия выбранного URL в сервисах Google PageSpeed Insights и Mobile Friendly Test. 7. Возможность использования горячих клавиш, в том числе добавление URL в таблицу из буфера обмена по Ctrl+V. 8. Подсказки при введении URL в строку поиска (как в Google). 9. Добавление URL в таблицу с помощью Drag"n"Drop. 10. Подсказки по параметрам (в tooltip-формате), а также панель «Информация» с полезными данными о SEO-ошибках и параметрах. |
| Русскоязычный интерфейс программы | Вы сможете сами выбрать язык интерфейса нашего краулера: русский или английский. А также пообщаться с нашей командой поддержки на русском по любым интересующим вас вопросам |
| Автоматическое обновление программы | Установить апдейт программы максимально легко: просто запустите Netpeak Spider, и он автоматически обновится до самой последней версии. Не нужно дополнительно ничего скачивать с сайта и перезапускать: мы уже позаботились о вас с помощью нашей программы для запуска Netpeak Launcher. |
| Оперативная онлайн-поддержка всех пользователей | С любыми вопросами к нам можно обратиться в онлайн-чат на сайте: наши Customer Support менеджеры сразу придут к вам на помощь и помогут решить проблему быстро и качественно. Да и общаться с живым человеком всегда приятнее, чем просто переписываться по email К тому же, наша поддержка работает для всех наших пользователей, независимо от того, есть ли у них активная лицензия на продукт или нет. |
| Менее критичные фичи | |
| Полная кастомизация настроек сканирования | |
| Продвинутый парсинг данных | |
| Кастомные шаблоны настроек, параметров, фильтров и сегментов | |
| Расширенное копирование любой информации из вкладки «Отчёты» | |
| Более информативная сводка по сканированию для экспресс-аудитов | |
| Более продвинутый инструмент анализа исходного кода и HTTP-заголовков | |
| Отложенный анализ больших данных для оптимизации скорости сканирования | |
| Расширенная работа с контекстным меню | |
| Адаптивная панель «Информация» с пояснением к выбранному параметру или ошибке | |
| Совмещение нескольких режимов сканирования в один | |
| Отчёт по глубине сканирования | |
| Отчёт по редиректам, заблокированным в robots.txt | |
| Отчёт по цепочкам Canonical | |
| Отчёт по уникальным URL и анкорам | |
| Комплексный анализ всех заголовков h1-h6 | |
| Возможность использовать список прокси | |
| Импорт только URL из сохранённых проектов в Netpeak Spider и Checker | |
| Возможность очистки результатов сканирования | |
| Возможность удаления определённого типа URL из текущей таблицы | |
| Просмотр вида URL в исходном коде в инструменте анализа ссылок (база данных) | |
| Информация о длительности сканирования внизу программы | |
| Определение индексируемых URL | |
| Таблица пропущенных при сканировании ссылок | |
| В чем Netpeak Spider уступает Screaming Frog SEO Spider | |
| Название фичи | |
Каждому вебмастеру приходится постоянно решать повседневные проблемы, касающиеся SEO-оптимизации и продвижения сайта. И одним из лучших инструментов, позволяющих это сделать, является программа Netpeak Spider. Благодаря ей можно сканировать и анализировать веб-ресурсы, сделав этот процесс простым и удобным.
Установка Нетпик Спайдер
Скачать программу можно на официальном сайте разработчика по ссылке https://netpeaksoftware.com/spider . Но перед этим необходимо зарегистрироваться, а также купить платную версию или запустить триал на 14 дней. После регистрации у вас появится возможность скачать установочный файл Нетпик Спайдер. Сам процесс инсталляции интуитивно понятен, и с ним справится даже начинающий вебмастер.
Установленный пакет содержит 2 программы – сам Netpeak Spider, и Netpeak Checker – сервис для массового Сео-анализа. Каждую из программ придется установить отдельно.
Возможности этой программы для seo анализа
С помощью Netpeak Spider Вы сможете:
отследить свыше 50 главных характеристик, связанных с оптимизацией ресурса;
получить перечень ссылок, как внешних, так и внутренних;
обнаружить, есть на ли вашем сайте нерабочие линки и редиректы;
узнать, содержит ли ресурс дубли страничек и мета-тегов title, description, h1;
проверить, соответствуют ли файлы robots.txt и использованные теги canonical рекомендациям популярных поисковиков;
проверить как весь ресурс, так и его часть;
Инструкция по использованию Нетпик Спайдер
Первое, что стоит сделать, это сменить язык программы для seo анализа с английского на русский. После этого работать с ней становится еще легче.
Чтобы запустить сканер, нужно ввести URL сайта в специальное поле ввода, и нажать кнопку «Старт». Программа выдаст перечень ошибок и проблем, которые при желании можно отфильтровать. Нажмите на любую из категорий для просмотра всех ошибок, входящих в нее.
Во вкладке «Инструменты» можно проанализировать исходный код ресурса, рассчитать внутренний Page Rank страниц, а также сгенерировать карту сайта – Sitemap.
Для получения списка проблем другого ресурса придется создать новый проект. Сделать это можно во вкладке «Проект». Здесь же можно сохранить результаты сканирования или открыть полученные ранее.
