Robots.txt on verkkosivuston juurikansiossa oleva tekstipohjainen tiedosto. Sitä käytetään verkkorobotin, kuten hakukoneiden indeksoijien, ohjaamiseen. Tämä tiedosto sisältää sääntöjä, jotka määrittelevät, mitkä verkkorobotit (kuten Googlebot) voivat indeksoida sivuston osia. Sääntöjen perusteella voi myös estää hakukoneita indeksoimasta tiettyjä sivuja tai tiedostoja, mikä voi olla hyödyllistä esimerkiksi yksityisyyssyistä tai sisällönhallinnan tarpeista.
On kuitenkin tärkeää huomioida, että vaikka robots.txt voi ohjata hakukoneiden toimintaa, se ei ole tehokas keino estää salassa pidettävien tietojen leviämistä verkossa. Jos verkkosivustolle tarvitaan tiukempia rajoituksia tiettyihin tietoihin, tulee käyttää muita menetelmiä, kuten tunnistautumista ja salasanasuojausta.