Det började som en tråkig rutinsak och slutade som en inkomstbringande affärsidé.
Jag satt och läste accessloggarna för våra webbtidningar. Gång på gång upprepade sig samma mönster. Den ena efter den andra dammsuger vår webb på nyheter. Men mönstret är inte mänskligt. Bakom accesserna döljer sig avancerade spindlar som med hög hastighet plockar hem allt vi har att erbjuda. Glöm robots.txt. Många spindlar som finns i mina loggar struntar blankt i den filen. Efterforskningen ledde till en rad så kallade omvärldsbevakningsföretag. Frågan ställdes på sin spets:
Ska vi låta dessa företag sno våra nyheter utan att vi får en spänn?
Svaret blev nej.
Sagt och gjort. Vi lokaliserade företagen och stängde av dem från våra webbplatser. Det tog inte många...

Läs mer av det här på Networkers.se