Blog

Résumé des interruptions de service (2021/05/03) et plans de capacité

Quad9 a été la cible d'une attaque par déni de service distribué qui a débuté à 16 h 10 UTC le 3 mai et qui a duré environ quatre-vingt-dix minutes sur les sites les plus touchés. Bien que le service n'ait pas été dégradé dans la majorité de nos sites (la plupart des villes n'ont pas connu de perturbations), les utilisateurs de Quad9 dans certains des plus grands POP (point de présence) d'Amérique du Nord et d'Europe, et dans une moindre mesure d'Asie, ont pu constater un pourcentage élevé d'échecs de résolution DNS ou un ralentissement des performances pendant une partie ou la totalité de cette période.

En résumé, cette attaque a été brève mais significative, et s'est concentrée sur quelques grandes villes où nous avons des interconnexions denses avec d'autres réseaux. Quad9 a déjà travaillé sur une expansion significative afin de pouvoir rendre des attaques comme celle-ci moins problématiques à l'avenir, à la fois en ajoutant des ressources dans les grandes villes et en augmentant le nombre d'emplacements à partir desquels nous servons les requêtes DNS.

Contexte des flux de trafic d'attaque DDoS

Comme tous les grands réseaux, Quad9 s'interconnecte avec le reste d'Internet via l'échange de trafic (peering) pour la majorité des échanges de paquets. Le peering est l'échange bilatéral de trafic entre notre réseau et d'autres réseaux Internet, tels que ceux des fournisseurs de services Internet qui fournissent la bande passante Internet aux utilisateurs de Quad9. Lorsqu'un utilisateur envoie une requête aux serveurs de Quad9, le fournisseur d'accès Internet de l'utilisateur choisit un point d'échange Internet (IXP) proche et nous transmet la requête à cet endroit. Nous leur renvoyons la réponse et ils la transmettent à l'utilisateur. Bon nombre des plus grands ISP ont des interconnexions dédiées avec notre réseau à de nombreux IXP, généralement à une vitesse de dix à cent gigabits par seconde à chaque endroit.

Quad9-img-01.png

Dans une attaque par déni de service distribué (DDoS), l'attaquant s'appuie sur des machines "bottées", c'est-à-dire des ordinateurs appartenant à des utilisateurs réguliers à leur domicile ou au bureau, mais qui ont été infectés par un logiciel malveillant qui détourne la bande passante Internet des utilisateurs pour envoyer du trafic d'attaque. Ce trafic d'attaque entre en concurrence avec le trafic légitime, et s'il est suffisamment important par rapport au trafic légitime, les paquets invalides évincent le trafic légitime, et l'attaque réussit en refusant le service aux utilisateurs légitimes. (Quad9 défend effectivement les utilisateurs finaux contre de nombreuses variantes de ces types d'attaques, en bloquant les serveurs de commande et de contrôle des logiciels malveillants qui permettent aux auteurs ou aux opérateurs de ces réseaux DDoS d'entreprendre leurs attaques, mais nous ne pouvons obliger personne à utiliser Quad9, de sorte qu'aujourd'hui encore, la plupart des systèmes ne sont pas protégés et peuvent être utilisés pour générer du trafic d'attaque s'ils sont infectés).

Quad9-img-02.png

Les petits FAI et ceux qui ne mettent pas à niveau leur infrastructure de manière agressive peuvent dépendre de ports partagés aux IXP ou d'un fournisseur de transit à plus long chemin pour atteindre nos réseaux. Dans ces cas, les requêtes DNS légitimes que les utilisateurs nous envoient peuvent être mélangées à des volumes importants de trafic d'attaque avant d'atteindre les goulots d'étranglement. Dans ces goulets d'étranglement, les paquets légitimes sont rejetés avec le trafic d'attaque dans la course au passage vers notre réseau.

Quad9-img-03.png

Cette attaque particulière était une attaque par réflexion volumétrique, qui utilise les faiblesses des protocoles et des serveurs insuffisamment sécurisés pour amplifier le trafic des machines bottées avant qu'il ne cible notre réseau. La raison pour laquelle l'attaque a été lancée n'est pas claire, mais ce n'est pas une situation inhabituelle et il n'est généralement pas facile de déterminer l'intention. Les premières analyses indiquent qu'elle a probablement utilisé l'amplification CLDAP, un type d'attaque bien compris mais malheureusement toujours efficace, peut-être combiné à d'autres méthodes d'attaque par amplification. Notre infrastructure de routage et de filtrage a été en mesure d'absorber le trafic là où il a été vu, de sorte qu'aucun trafic d'attaque n'a atteint nos serveurs réels, qui n'ont pas connu de trafic inhabituel pendant l'attaque, mais la contention au niveau des goulets d'étranglement de capacité plus loin sur Internet et hors de notre contrôle a fait que pendant l'attaque, de nombreux utilisateurs légitimes se sont vu refuser l'accès à ces serveurs.

Quad9 fait l'objet d'attaques constantes à tous les niveaux. Certaines de ces attaques se situent au niveau du protocole - paquets DNS malformés, volumes élevés de requêtes vers des domaines ou des hôtes spécifiques, attaques de type "ping flood", ou trafic qui tente, intentionnellement ou non, de faire échouer nos systèmes et logiciels ou de provoquer des résultats inattendus chez un tiers. Ces attaques sont généralement absorbées sans grand incident, car nous avons un grand nombre de sites (environ 170) et la capacité de chaque site est normalement suffisante pour résister à ces événements sans que les clients légitimes ne remarquent de problèmes. Cependant, les attaques DDoS deviennent plus difficiles, avec des centaines, voire des milliers de gigabits par seconde de trafic d'attaque, et dans les formes les plus concentrées, certains sites peuvent subir des pertes de paquets tandis que d'autres restent opérationnels. Les modèles de trafic d'attaque changent en fonction de l'origine de l'attaque, et Quad9 s'efforce de réduire les risques de pannes dues à une attaque de plusieurs façons.

S'entraider localement, s'entraider souvent

L'internet fonctionne mieux dans le cadre d'un modèle coopératif - les opérateurs de réseau et les éditeurs de contenu travaillent ensemble pour améliorer l'expérience des utilisateurs finaux. Pour réduire l'impact de ces types d'attaques, nous espérons que les opérateurs de réseau coopéreront pour construire un internet plus richement interconnecté.

Dans ce cas, les utilisateurs qui n'ont pas été affectés étaient ceux dont les fournisseurs d'accès à Internet n'hébergeaient pas un nombre important de machines reflétant le CLDAP, et dont les fournisseurs d'accès à Internet étaient connectés directement à nous, en utilisant des interconnexions de capacité suffisante et qui étaient réparties sur une géographie appropriée. Nous ne facturons pas l'interconnexion ou nos services, et tout le monde est invité à se rencontrer à n'importe quel point d'échange Internet public partagé et à s'interconnecter librement avec notre partenaire de peering PCH à 10gbps ou 100gbps. C'est en faisant cela, et en le faisant dans le plus grand nombre d'endroits possible, que l'on peut empêcher les attaques DDoS de réussir.

Dans des endroits comme Francfort, nous voyons un volume important de trafic provenant d'opérateurs dans les pays où Quad9 a des équipements, mais beaucoup de ces mêmes opérateurs ne s'appuient pas sur Quad9 ou sur nos partenaires d'échange de trafic dans leur propre pays. Nous considérons qu'il s'agit d'une opportunité manquée et d'un cas clair où de tels manquements à l'échange de trafic local entraînent une fragilité du réseau d'une manière qui n'est pas évidente à première vue. Le fait que les grands réseaux ne parviennent pas à établir des relations d'égal à égal au niveau local constitue souvent un abus de position dominante sur le marché de la part des opérateurs dans leur propre pays et une invitation aux régulateurs nationaux des communications à intervenir pour corriger cet abus, et aucun d'entre nous ne souhaite vraiment un Internet conçu par des régulateurs. Lorsque les interconnexions sont distribuées aussi largement que possible, les attaques DDoS comme celle-ci se dissipent plutôt que de se concentrer.

Ce cas illustre bien comment cette coopération et cette répartition peuvent améliorer les performances, même dans des conditions d'attaque défavorables : nos sites IX nationaux et régionaux et les réseaux qui s'y connectent ont connu moins d'interruptions, voire aucune, en raison de la surcharge de trafic DDoS, mais certains "centres d'échange de trafic" avec des volumes excessivement denses de réseaux interconnectés ont été submergés par le trafic. Les points névralgiques du réseau sont des points évidents de problèmes concentrés lors d'une attaque DDoS, et un échange de trafic plus large à des endroits plus diversifiés permettrait d'atténuer ces problèmes dans de nombreux cas, ou du moins de réduire le nombre d'utilisateurs qui subissent les effets d'une attaque.

Nous sommes conscients que l'échange de trafic n'est pas toujours une option en raison des politiques, des coûts ou des réalités politiques, et même lorsque l'échange de trafic est bien réparti, il existe toujours des goulots d'étranglement dans certains modèles d'interconnexion, tels que les connexions très "chaudes" vers les fournisseurs d'hébergement Web qui peuvent générer des quantités disproportionnées d'attaques de trafic, ou les réseaux qui n'ont qu'une présence très locale et peu de possibilités d'interconnexion à l'emplacement IX. Pour contrer cela, nous travaillons constamment à trouver des moyens de rendre Quad9 plus robuste même là où d'autres réseaux ont des difficultés à s'interconnecter directement ou là où la densité est naturellement élevée (voir ci-dessous) mais nous espérons toujours que les opérateurs de réseau s'interconnectent localement - cela améliorera l'expérience de la base d'utilisateurs de chacun, pas seulement pour le trafic DNS de Quad9 mais pour toutes les destinations et origines du trafic.

Comment Quad9 fait pour éviter les attaques DDoS.

Bien qu'il existe des techniques d'atténuation pouvant être appliquées aux attaques DDoS volumétriques, une défense réussie consiste principalement à être suffisamment grand pour continuer à répondre à toutes les demandes légitimes tout en ingérant et en rejetant simultanément le trafic d'attaque - rien ne remplace le "plus" comme stratégie. Dans ce contexte, "plus" signifie des ports de plus grande capacité, dans plus de sites IX, avec plus de machines, et avec plus de fournisseurs de transit et d'interconnexions de peering.

Quad9 travaille à la mise en place de ces cinq solutions:

  • Dans nos villes les plus importantes en termes de volume de requêtes, Quad9 met à niveau la capacité des ports entre nos serveurs et nos partenaires de transit et d'échange de trafic ainsi que l'installation d'équipements supplémentaires.

  • La majorité de nos plus grands sites étaient déjà prévus pour des mises à niveau significatives de la capacité des serveurs (~2x) ou des mises à niveau de l'interconnexion (~10x) ou alors les deux à la fois dans les 30 à 60 prochains jours.

  • Notre partenaire d'échange de trafic PCH a récemment annoncé la première d'une série de mises à niveau de l'interconnexion, qui consiste à passer de circuits 10G à 100G sur les plus grands sites IX, ce qui offre une plus grande capacité en amont de notre équipement et permet d'établir davantage de sessions d'échange de trafic à des volumes de trafic plus élevés.

  • Quad9 continue à s'étendre géographiquement et à travers plus de sites IX : Au cours des deux derniers mois, le service a été activé dans 6 nouveaux sites, et 30 autres sites sont en attente de déploiement ou d'activation dans les 60 prochains jours environ, ce qui portera Quad9 à plus de 200 sites dans le monde.

  • Nous avons plusieurs annonces en attente concernant l'expansion avec de nouveaux parrainages de transit et de peering qui réduiront de manière significative la latence, nous ajouteront de la capacité de bande passante et de la résilience DDoS, et augmenteront massivement notre empreinte de serveur et qui seront les changements les plus importants dans notre réseau sur plusieurs années - nous aurons un message à ce sujet sous peu sur notre blog également. Si votre réseau ou votre société d'hébergement dispose d'une empreinte multicontinentale et d'une structure communautaire BGP robuste pour les ASN de transit, nous serions très intéressés de discuter des possibilités de parrainage qui permettraient à Quad9 de poursuivre son expansion.

Nous avons anticipé à la fois la croissance de notre clientèle et celle de ce type d'attaques, mais il n'existe pas de réseau entièrement isolé des effets des DDoS. Nous pouvons seulement espérer réduire les résultats négatifs, mais nous ne pouvons pas empêcher les attaques. Nous poursuivons ce que nous pensons être des solutions à court et à long terme pour devancer les attaquants et la croissance naturelle du trafic DNS récursif, mais les événements de la semaine dernière dans certaines villes ont dépassé nos ressources pour faire face à une attaque concentrée. L'équipe de Quad9 travaille de longues heures et accomplit un travail considérable pour développer le réseau et le service, ce qui, nous l'espérons, nous permettra de devancer ces problèmes dans un avenir proche.

Ce que vous pouvez faire : Adresses Quad9 secondaires alternatives

Pour améliorer les performances à l'avenir, nous conseillons vivement à tous les utilisateurs des services Quad9 d'activer nos adresses secondaires alternatives pour tous les services DNS Quad9 utilisés. Le fait d'avoir à la fois l'adresse primaire et l'adresse secondaire permet aux résolveurs DNS des clients de passer d'une adresse à l'autre en cas de problème avec l'un des réseaux, même si ce problème est très localisé à une certaine ville, un certain fournisseur ou même un réseau domestique qui a des problèmes. Cette résilience intégrée fait partie du protocole DNS, mais elle doit être configurée pour fonctionner correctement. Si vos appareils ou votre réseau utilisent 9.9.9.9, veuillez vous assurer que 149.112.112.112 ainsi que 2620:fe::fe sont également configurés dans la liste des résolveurs pour tous les systèmes utilisant Quad9 pour la résolution DNS, car cela peut rendre tout problème réseau futur moins perceptible. Voir notre page Adresses de service pour une liste complète.

Vous voulez nous aider ? Envisagez de faire un don à Quad9 - nous sommes une association à but non lucratif dont l'objectif est de protéger la confidentialité et la sécurité des utilisateurs finaux. Votre parrainage va directement et uniquement à ces objectifs. Nous comptons sur notre communauté d'utilisateurs pour nous aider à financer les mises à niveau qui nous permettent d'améliorer le temps de fonctionnement, d'améliorer la sécurité que nous fournissons et de préserver la confidentialité de vos données DNS.