Procházení slovníku podle počátečního písmene

• A | 
• B | 
• C | 
• D | 
• E | 
• F | 
• G | 
• H | 
• I | 
• J | 
• K | 
• L | 
• M | 
• N | 
• O | 
• P | 
• Q | 
• R | 
• S | 
• T | 
• U | 
• V | 
• W | 
• X | 
• Y | 
• Z

Robots.txt

Pomocí souboru Robots.txt je možné nastavit, kam mají roboti v rámci konkrétního webu chodit a kam nikoliv.

V praxi není důvod, aby bylo robotům zakázáno procházet nějaké stránky v rámci webu. Existují však výjimky, kde se "zákaz vstupu robotům" hodí. Příkladem jsou stránky s velkým počtem odkazů, odkazy, mířícími na nerelevantní nebo problémové stránky, nebo je jednoduše na stránkách obsah, který nechceme každému odtajnit. 

V rámci souboru robots.txt lze nastavit trojici různých zákazů. Buďto pro celý web, pro konkrétní stránky a dokonce i pro konkrétní odkazy.