DailyFootballBot

DailyFootballBot est le robot de collecte de DailyFootball (daily.football), un site d'actualité football en plusieurs langues. Il repère les informations publiées par les médias afin de détecter les sujets du jour et de citer ses sources, avec un lien vers l'article d'origine.

Identification

Chaque requête annonce cet en-tête User-Agent :

DailyFootballBot/1.0 (+https://daily.football/bot/)

Ce qu'il collecte

Uniquement des flux publics (RSS, Atom ou JSON) et les fichiers robots.txt. Il ne parcourt pas les pages des sites.
Pour chaque article : le titre, le lien et la date de publication.
Un court extrait (300 caractères au plus), seulement si le flux en fournit un et que le média ne s'oppose ni aux robots d'IA ni à la fouille de textes et de données. Sinon, le titre et le lien seulement.
Jamais le contenu intégral des articles, jamais d'images.

Fréquence

Au plus une requête toutes les 10 minutes par flux.
Une seule requête à la fois par site, espacées d'au moins 2 secondes.
Requêtes conditionnelles (If-None-Match, If-Modified-Since) : un flux inchangé n'est pas retéléchargé.
L'en-tête Retry-After est respecté. Après une erreur, les tentatives s'espacent, jusqu'à 6 heures.

Respect de robots.txt

DailyFootballBot applique les règles de votre robots.txt qui visent le jeton DailyFootballBot, ou à défaut celles de User-agent: *. Il vérifie chaque adresse avant de la demander et relit le fichier au moins une fois toutes les 24 heures. Si robots.txt ne répond pas (erreur serveur), il s'abstient.

Bloquer DailyFootballBot

Ajoutez ces lignes au fichier robots.txt de votre site :

User-agent: DailyFootballBot
Disallow: /

Pour n'exclure qu'une partie du site, indiquez le chemin concerné :

User-agent: DailyFootballBot
Disallow: /rss/

Le blocage est pris en compte sous 24 heures, sans autre démarche.

Contact

Pour toute question sur DailyFootballBot, ou pour demander qu'il cesse de suivre votre site, écrivez à [email protected].

DailyFootballBot

DailyFootballBot is the crawler of DailyFootball (daily.football), a multilingual football news site. It watches what news outlets publish in order to detect the stories of the day and to credit its sources, with a link to the original article.

Identification

Every request carries this User-Agent header:

DailyFootballBot/1.0 (+https://daily.football/bot/)

What it collects

Only public feeds (RSS, Atom or JSON) and robots.txt files. It does not crawl the pages of your site.
For each article: the headline, the link and the publication date.
A short excerpt (300 characters at most), only when the feed provides one and the publisher does not object to AI crawlers or to text and data mining. Otherwise, the headline and the link only.
Never the full text of articles, never images.

Frequency

At most one request every 10 minutes per feed.
One request at a time per site, at least 2 seconds apart.
Conditional requests (If-None-Match, If-Modified-Since): an unchanged feed is not downloaded again.
The Retry-After header is honoured. After an error, retries are spaced out, up to 6 hours.

robots.txt

DailyFootballBot follows the rules in your robots.txt that target the DailyFootballBot token, or otherwise those for User-agent: *. It checks every URL before requesting it and reads the file again at least once every 24 hours. If robots.txt cannot be fetched (server error), it stays away.

How to block DailyFootballBot

Add these lines to your site's robots.txt:

User-agent: DailyFootballBot
Disallow: /

To exclude only part of your site, give the path instead:

User-agent: DailyFootballBot
Disallow: /rss/

The block takes effect within 24 hours, with nothing else to do.

Contact

For any question about DailyFootballBot, or to ask it to stop following your site, write to [email protected].