Як побудувати власний список доменів автоприйняття, використовуючи програму GSA Search Engine Ranker

095004bde0e4b71dca80e2aaaf71a583

Ласкаво просимо в мій посібник зі створення списку доменів автоприйняття, з використанням тільки програми GSA Search Engine Ranker! Хоча, теоретично, весь процес побудови може бути виконаний з використанням тільки GSA Search Engine Ranker, вашого особистого часу та комп’ютера, весь процес може бути значно полегшений, якщо ви доповните ваш набір інструментів програмою GSA Captcha Breaker (раджу використовувати XEvil чи CapMonster, а для текстових капч TextCaptchaSolver (прим. перекладача), електронною поштою, і VPS або сервером.

Дана публікація є частиною серії статей, які потрібно читати у такому порядку:

  1. Введення в створення списку автоприйняття
  2. Побудова повного списку автоприйняття

На мій погляд GSA Search Engine Ranker є одним з найкращих, (якщо не найкращим) автоматичним інструментом з одноразовою оплатою (без абонентської плати) з усіх представлених на ринку. Він може виконати багато різних завдань, і має стільки функцій, що це викликало створення таких супутніх інструментів, як GSA Platform Identifier і GSA Proxy Scraper. Крім того, мене не здивувало б існування планів створення та спеціального інструменту GSA для парсингу.

Як я говорив у моїй вступній публікації, процес створення власного списку автоприйняття може бути розбитий на три основні частини. Це — отримання посилань, ідентифікація посилань та верифікація посилань. SER може виконати всі ці дії без залучення зовнішньої підтримки, але застосування тільки SER для вирішення цих завдань уповільнить загальну швидкість всього процесу.

Підготовка до парсингу

Як і в багатьох інших випадках, невелика підготовка може вистачати надовго. В ідеальному випадку вам потрібен чистий список сигнатур, і в моїй статті я пояснюю, як це зробити. По суті ви переглядаєте всі сигнатури, доступні за замовчуванням, і видаляєте ті з них, які можуть мати низьку віддачу, або занадто неоднозначні, щоб витрачати час на парсинг.

Після того, як це зроблено, нам потрібно встановити проксі GSA Search Engine Ranker, щоб прискорити час парсингу. Для цього у вашому розпорядженні є три можливості. Ви можете вибрати проведення парсингу за допомогою приватних проксі, публічних проксі або скористатися і тими, і іншими. Особисто я волію виконувати парсинг або за допомогою приватних проксі, або за допомогою публічних проксі, але ніколи не змішую їх.

Парсинг з використанням приватних проксі

Для виконання парсингу з використанням приватних проксі ми встановлюємо налаштування проксі в SER. Ці налаштування трохи відрізняються від налаштувань під час використання публічних проксі. В ідеальному випадку ваші установки будуть виглядати так, як показано на наступному скріншоті.

 

GSA SER: Як побудувати власний список доменів автоприйняття, використовуючи програму GSA Search Engine Ranker

 

  1. Дозвіл використовувати проксі під час роботи програми.
  2. Дозвіл використовувати проксі для збирання посилань з пошукових систем.
  3. Дозвіл використовувати приватні проксі із пошуковими системами.
  4. Встановлення часу очікування між пошуковими запитами, щоб знизити ризик програмного блокування проксі пошуковими системами.
  5. Я зазвичай встановлюю час очікування між запитами Google рівним 70 секунд на один проксі. Наведений вище скріншот показує затримку в 70 секунд, яка ідеальна, якщо використовується один проксі. Якщо ви використовуєте 10 проксі, то для кожного проксі можна встановити затримку в 7 секунд, щоб кожен проксі опитував пошукові системи один раз на 70 секунд. Це повинно знизити ризик програмного блокування приватних проксі. Але пам’ятайте, що якщо ви використовуєте футпринти з пошуковими запитами, як intitle: або inanchor:, то вам може знадобитися збільшити час затримки. При використанні будь-яких інших пошукових систем для парсингу час затримки може бути меншим за вказаний, оскільки вони не так жорстко контролюють запити, як Google.
  6. Нарешті ми натискаємо кнопку «configure» (конфігурація) для того, щоб відкрити вікно, показане на наведеному нижче скріншоті.

 

Як побудувати власний список доменів автоприйняття, використовуючи програму GSA Search Engine Ranker

 

Клацніть на кнопці “Add Proxy” (додати проксі) та виберіть будь-який з варіантів імпорту приватних проксі у SER.

Парсинг з використанням публічних проксі

При використанні публічних проксі установки мають виглядати, як показано на скріншоті нижче.

 

Парсинг з використанням публічних проксі

 

  1. Дозвіл використовувати проксі.
  2. Дозвіл використовувати проксі для парсингу пошукових систем.
  3. Дозвіл використовувати публічні проксі під час парсингу пошукових систем.
  4. Клацніть на кнопку «configure» (конфігурація)

У цьому варіанті ми використовуємо вільно доступні публічні проксі. Оскільки вони безкоштовні, їх використовуватимуть безліч людей з різних причин. Через це вам потрібно використовувати максимально можливу кількість таких проксі, перш ніж вони будуть програмно заблоковані пошуковими системами. Тому ми не дозволяємо програмі використовувати будь-які затримки. Програмне блокування цих проксі відбувається досить швидко через те, що їх використовують інші користувачі, тому вам потрібно максимально багато пошукових запитів, щоб отримати максимум результатів на кожному проксі перш, ніж вони стануть для вас марними.

 

 

  1. Замість вікна вибору проксі використовуйте вкладку «options» (опції).
  2. Дозволити автоматичний пошук проксі
  3. Увімкніть автоматичний пошук нових публічних проксі щохвилини.

Збереження результатів ваших праць

Однією з сильних характеристик GSA Search Engine Ranker є можливість створювати великі списки доменів автоприйняття, які можна використовувати і тоді, коли в них виникає необхідність. У моєму повному посібнику з GSA Search Engine Ranker я докладно описую застосування папок, наведених на наступному скріншоті, але основний момент, який потрібно запам’ятати, полягає в тому, що якщо ви не відмітите групу «verified» (перевірено), то ви не збережете в У цьому списку перевірені домени.

Якщо не задавати папку перевірених URL, то вони по суті будуть використані тільки в конкретному проекті, який перевірятиме їх. Якщо ви позначите цю папку, то SER автоматично збереже домен у списку перевірених для подальшого використання, що дозволить вам миттєво включити їх до інших проектів замість того, щоб розпочинати весь процес спочатку.

Підготовка проекту SER для парсингу

Переходячи до конкретних опцій проекту, у верхній частині вікна ми повинні встановити налаштування публікації, як показано на наведеному нижче скріншоті. Ви можете встановлювати їх, як вам хочеться, але я хочу наголосити, що якщо це ваш єдиний проект, і ви накладаєте обмеження на нього, то SER вичерпає ці обмеження та зупиниться. Теоретично, це може призвести до того, що ваш інструмент не робитиме нічого корисного кілька годин щодня, але при цьому витрачатиме ресурси, час і гроші.

 

Найкращим способом запустити систему, і швидше побудувати ваш список автоприйняття був би фоновий проект по побудові посилань, що виконується на тій же платформі, на якій працює проект для вашого сайту, що заробляє. Створіть фоновий проект для вибраного URL-адреси, і нехай він працює 24 години на день без обмежень. Таким чином, ваш інструмент виконуватиме парсинг, і оброблятиме домени без зупинки, а перевірені посилання поміщатиме до списку «Verified» (перевірених посилань).

Коли працюючий проект виходить за межі заданої паузи, він може або вибрати нові цілі з папки перевірених посилань і відправити на них контент, або продовжити парсинг, допомагаючи створювати ваш список.

Трохи нижче розташований розділ “How To Get Target URLs” (як отримати цільові URL-адреси), показаний на наведеному нижче скріншоті.

 

9hltqy8ujy4

 

  1. Виберіть пошукові системи, які потрібно використовувати для скрапінгу. Наскільки мені відомо, всі локальні сайти великих пошукових систем, такі як google.co.uk обмінюються даними про програмне блокування проксі з усіма іншими доменами. Це означає, що не варто вибирати п’ять варіантів Google у вікні пошукових систем, оскільки в цьому випадку ваш проксі буде програмно заблокований в п’ять разів швидше. Особисто я вибираю тільки google.com та bing.com (який у списку називається MSN). Якщо ви хочете, щоб SER виконував парсинг доменів, просто вкажіть пошукові системи. А якщо ви не бажаєте навантажувати SER парсингом, то не вибирайте нічого.
  2. Режим «analyze and post to competitor backlinks» (аналіз та надсилання повідомлень за зворотними посиланнями конкурентів) є основним способом, за допомогою якого SER отримує посилання. Залежно від інших завдань, що виконуються на VPS, може мати сенс не вибирати цей режим, оскільки він має високі вимоги до ресурсів.
  3. Вибір будь-якої групи папок призведе до того, що програма, окрім виконання парсингу та вилучення посилань (якщо в пункті 1 вибрано пошукові системи) буде намагатися отримати URL із зазначених папок.

Спустившись далі по вкладці опцій, ми перейдемо до розділу «Filter URLs» (фільтрація URL), показаному на скріншоті нижче.

 

Список “Type of Backlinks to create” (типи створюваних зворотних посилань) є важливим елементом, про який я хотів би поговорити тут особливо, оскільки він помітно впливає обсяг результуючих посилань. Більшість платформ підтримує кілька типів зворотних посилань, тому відключення деяких з них, перш ніж ви зрозумієте, що вони можуть робити, може знизити загальну кількість отриманих посилань.

Дозволи будь-яких інших режимів фільтрації в даному розділі також будуть сильно знижувати кількість посилань, але ці типи фільтрів досить очевидні. При використанні посилань контекстного типу я не бачу причин дозволяти хоча б один фільтр для проекту.

З урахуванням сказаного, якби я виконував проект, в якому здійснюється пошук високоякісних блогів для розміщення коментарів, я міг би подумати про включення фільтра непристойних слів, але треба розуміти, що це палиця з двома кінцями. Не кожен пост блогу з непристойними словами в ньому означає, що це негативний пост, який може вплинути на доход вашого сайту.

Підтвердження облікових записів електронною поштою

Я завжди рекомендую застосовувати сервіс електронної пошти, що використовує загальні механізми GSA Search Engine Ranker, тому що вони зможуть при виникненні проблем просто працювати. Якщо ви вирішите використовувати стандартну електронну пошту, ваш провайдер поштового сервісу може заблокувати обліковий запис після отримання великої кількості поштових запитів про підтвердження.

Залежно від вибору типів платформ, встановлення відбору та публікації для вашого проекту, таке блокування може статися досить швидко. Це призводить до проблем, оскільки ваші облікові записи традиційної електронної пошти можуть бути заблоковані, а це означає, що будь-які перевірочні повідомлення, надіслані від доменів, які ви намагаєтеся обробляти, будуть надсилатися на поштові адреси, до яких у вас більше немає доступу. А оскільки ви не можете перевірити пошту, що надходить, то посилання не будуть активними, що призводить до зниження обсягу результуючих посилань, і все скінчиться тим, що ви втрачатимете час і ресурси, поки не переробите проект із зазначенням робочих адрес електронної пошти.

Ключові слова: використовувати чи ні?

Вкладка «Data» (Дані) у проекті дозволяє користувачеві додавати ключові слова, як показано в наведеному нижче скріншоті. Будь-які ключові слова, які ви додаєте до цього списку, будуть об’єднуватися з внутрішніми футпринтами SER, намагаючись знайти більш релевантні сторінки, на яких можна залишити посилання.

newta58a5j0

 

Особисто я відчуваю, що ці установки залежать від цілей, для яких ви використовуєте інструмент. Якщо ви маєте намір використовувати GSA Search Engine Ranker для побудови великої кількості контекстних посилань, то я не бачу причин для використання ключових слів. Достатньо просто записати в це поле пробіл, щоб SER виконав відбір із сигнатурами за замовчуванням, і програма запропонує безліч потенційних результатів для роботи інструменту.

Коли ви створюєте контекстні сторінки в доменах за допомогою даного інструменту, ви можете задати тему, яка відповідає вашій ніші, використовуючи при розміщенні контенту релевантні ключові слова. Саме тому я особисто вважаю, що краще мати максимально можливу кількість контекстних доменів, особливо якщо ви використовуєте їх на рівні tier-2 або tier-3.

Якщо ви використовуєте SER для пошуку блогів, що мають високі метрики і дозволяють залишити коментарі до постів, тоді, можливо, заповнення цього поля максимально можливою кількістю релевантних ключових слів може виявитися непоганою ідеєю. Це може дати вам набагато більший шанс, що інструмент створить релевантне посилання. Але, з іншого боку, ваші потенційні результати можуть помітно знизитися в обсязі, тому все це, як завжди, питання компромісу.

Натискаємо на Start

На щастя, SER був створений, як інструмент «все в одному», що дає вам можливість пожертвувати ресурсами, щоб сконцентруватися на інших задачах, що стоять перед вами. Тому користуватися ним дуже легко, особливо тим, хто не має досвіду роботи з цим інструментом, але починає будувати свій список. Тепер я знаю, що в цьому посібнику багато пов’язане з особистим вибором, тому я не можу запропонувати точне опис того, що робить інструмент, коли ви натискаєте кнопку «start» (пуск), але основними етапами його роботи завжди будуть наступні:

  1. SER перевірить установки проксі, і якщо ви повідомили програмі, щоб вона використовувала публічні проксі, вона буде проводити вибірку та перевірку публічних проксі, доки не знайде такі проксі, які можна використовувати.
  2. Потім програма перевірить платформи та пошукові системи, які ви вибрали для проекту, на предмет їхньої активності. Вона автоматично витягує сигнатури для вибраних платформ із власного сховища сигнатур, щоб максимізувати ефективність роботи.
  3. Після цього програма перевірить, чи ви додали до проекту ключові слова для використання в парсингу, і якщо це так, то вона поєднає їх із сигнатурами. Єдиний, відомий мені спосіб змусити SER виконувати парсинг без сигнатур, полягає в тому, щоб помістити пробіл у поле ключових слів, показане вище. Я не впевнений щодо інших пошукових систем, але я знаю, що Google враховує пропуск, що дозволяє виконати парсинг вихідних сигнатур.
  4. Потім програма перевірить пошукові системи, які ви відзначили для проекту, та почне виконувати початковий парсинг для них. Після його завершення вона перевірить встановлення часу затримки для пошукової системи і повторить парсинг через заданий інтервал часу.
  5. При парсингу пошукових систем повертається величезний обсяг даремних сайтів. Програма SER збере всі ці сторінки та перевірить їх URL та вміст на відповідність сигнатур вибраним платформам та системам. Саме так SER визначає, що домени мають можливу цінність.
  6. Потім SER перевірить, чи ви позначили папки «identified», щоб включити ідентифіковані домени до списку папки ідентифікації, і перейде до публікації контенту.
  7. Етап публікації значною мірою залежить від вибраних систем, і, по суті, він полягає в спробі помістити посилання на даній конкретній сторінці, або в її домені, і перевірити, чи потрібне підтвердження електронною поштою під час цього процесу. Якщо використання папки «submitted» дозволено, URL буде збережено у списку цієї папки, і SER додасть кількість публікацій у вікно даного проекту.
  8. Здійснивши публікацію, SER потім спробує перевірити, що посилання стало активним, проаналізувавши профілі або сторінку, на якій має бути посилання. Якщо посилання супроводжується інформацією про помилку, або іншою інформацією про те, що вона відкинута, або обліковий запис заблоковано, тоді домен, що перевіряється, видаляється з колонки публікацій. Якщо ви дозволили використовувати папку «failed» для помилок, цей домен буде додано до списку цієї папки. Якщо ви знайдете URL на сторінці, статус домену в списку проекту змінюється з submission на verified URL, а якщо ви дозволили використовувати папку «verified» для перевірених URL, то домен буде збережений в ній.

Як я згадував раніше, при застосуванні SER існує безліч варіантів, які забезпечують основу для того, щоб процес на різних етапах повторювався у фоновому режимі, під час роботи інших етапів процесу.

Я сподіваюся, що ця публікація досить визначає основи побудови власного списку автоприйняття початкового рівня. Наскільки я знаю, якщо не брати до уваги використання платного списку, то це найдешевший спосіб збільшення розмірів вашого списку автоприйняття.

Крім названих у цій статті можливостей, доступних для вибору користувача, існують інші фактори, такі як якість використовуваних VPS або сервера, проксі та багато іншого. Найкращий спосіб оцінки – використовувати початкове значення лічильника посилань на хвилину як основа, а потім працювати над його покращенням у міру просування вперед.

SEOPRO