Hur man hittar dolda sidor på webbplatser

2016, Google hanterade över 3,2 biljoner sökfrågor, Ändå svarade sökmotorn endast för en bråkdel av tillgängligt innehåll online. Mycket av den information som finns tillgänglig online är inte tillgänglig för sökmotorer, så du måste använda specialverktyg, eller undersöka webbplatser själv, för att hitta dessa dolda sidor. Känd som den djupa webben, denna dolda information står för upp till 5, 000 gånger vad som är tillgängligt med vanliga söktekniker.

Typer av dolt innehåll

Webbplatsers dolda sidor faller i kategorier som beskriver varför de förblir osynliga för sökmotorer.

Vissa utgör dynamiskt innehåll, serveras endast när en besökare utfärdar en specifik begäran på en webbplats som använder databasdriven kod för att presentera riktade resultat. Som ett exempel, dessa sidor kan innehålla shoppingresultat baserat på specifika kombinationer av produktkriterier. Sökmotorer är inte utformade för att spåra och lagra information som lagras i dessa databaser. För att hitta dessa sidor, du måste gå till webbplatsen och söka efter den specifika informationen du letar efter, eller använd en databasorienterad söktjänst som Bright Planet.

Vissa sidor har inga länkar som kopplar dem till sökbara källor. Tillfälliga resurser, till exempel flera versioner av underutvecklade webbplatser, kan falla i denna kategori, liksom dåligt utformade webbplatser. Till exempel, om någon skapade en webbsida och laddade upp den till webbplatsens server, men misslyckades med att lägga till en länk till den på webbplatsens nuvarande sidor, ingen skulle veta att det var där, inklusive sökmotorer.

Ännu fler sidor kräver inloggningsuppgifter för att visa eller nå dem, som prenumerationssajter. Webbdesigners utser sidor och delar av webbplatser som gränser för sökmotorer, effektivt eliminera dem från att hittas på konventionella sätt. För att komma åt dessa sidor, du behöver vanligtvis skapa ett konto innan du får behörighet att komma åt dem.

Använda Robots.txt -filer

Sökmotorer kryper igenom sidorna på en webbplats och indexerar dess innehåll så att det kan dyka upp som svar på frågor. När en webbplatsägare vill utesluta några delar av sin domän från dessa indexeringsprocedurer, hon lägger till adresserna till dessa kataloger eller sidor i en speciell textfil som heter robots.txt, lagras vid roten av hennes webbplats. Eftersom de flesta webbplatser innehåller en robotfil oavsett om de lägger till några undantag i den, du kan använda dokumentets förutsägbara namn för att visa dess innehåll.

Om du skriver "[domännamn] /robots.txt" utan citattecken i webbläsarens platsrad, ersätta "[domännamn]" med webbplatsadressen, innehållet i robotfilen visas ofta i webbläsarfönstret efter att du har tryckt på "Enter". Inlägg som inleddes med "tillåt" eller "nofollow" representerar delar av webbplatsen som förblir otillgängliga via en sökmotor.

Gör-det-själv-webbplatshackning

Förutom robot.txt -filer, du kan ofta hitta annars dolt innehåll genom att skriva webbadresser för specifika sidor och mappar i din webbläsare. Till exempel, om du tittade på en konstnärs webbplats och märkte att varje sida använde samma namnkonvention - som gallery1.html, galleri2.html, gallery4.html - då kanske du kan hitta ett dolt galleri genom att skriva sidan "gallery3.html." i din webbläsare.

Liknande, om du ser att webbplatsen använder mappar för att organisera sidor - som example.com/content/page1.html, med "/innehåll" som mapp - då kanske du kan se själva mappen genom att skriva webbplatsen och mappen, utan en sida, t.ex. "example.com/content/" i din webbläsare. Om åtkomst till mappen inte har inaktiverats, då kanske du kan navigera genom sidorna den innehåller, samt sidor i alla undermappar, för att hitta dolt innehåll.