Deep Hedging : l’intelligence artificielle appliquée à la couverture de risques sur les marchés financiers
⏱ 13 minCharles-Albert Lehalle, Head of Data Analytics à Capital Fund Management (CFM), Paris, Visiting Researcher à Imperial College, London, membre du comité scientifique de l’Autorité des marchés financiers (AMF).
Depuis quelques années, les institutions financières étudient de nouvelles stratégies de couverture de risques (ou hedging) à base d’apprentissage automatique, notamment de deep learning. Cela ouvre de nouvelles possibilités mais ne supprime pas les choix humains. Cela soulève également de nouvelles questions notamment en termes de validation formelle.
Les banques et les assurances mesurent l’exposition de leur bilan à toutes sortes de risques potentiels comme les mouvements de prix de secteurs industriels ou une augmentation de l’incertitude sur les prix. Et pour en limiter les conséquences, elles cherchent à identifier des stratégies de couverture optimales. Lorsque le risque n’a pas été anticipé, on assiste en général à des synchronisations de liquidation de portefeuilles, comme l’actualité nous l’a récemment rappelé avec l’effondrement de la Bourse provoqué par la pandémie de Covid-19.
La plupart de ces stratégies sont issues des travaux précurseurs du mathématicien français Louis Bachelier qui, en 1900, a posé le cadre théorique, constamment amélioré depuis, d’une couverture ou « réplication » de risque ; on parle de « hedging » en anglais. Ce cadre, inspiré du mouvement brownien, permet de décomposer les fluctuations d’un actif financier en fonction de facteurs de risque, et propose des méthodes pour diminuer l’exposition à ces risques. En résumé, il s’agit de calculer, chaque jour, les conséquences [1] sur la valeur du portefeuille de plusieurs scénarios – une crise pétrolière, le Brexit, ou plus récemment une pandémie – pour prendre des mesures telles que vendre des actions. En réalité, la plupart des fluctuations ainsi répliquées sont loin de ces scénarios extrêmes, ce sont de légères montées, baisses des taux ou encore des mouvements habituels des prix des actions.
L’expérience a montré qu’il n’était pas possible de se couvrir contre tous les risques, essentiellement pour trois raisons : d’abord, le nombre d’instruments négociables disponibles ne correspond pas à tous les risques existants (par exemple, en quelles proportions et avec quelle intensité faudrait-il anticiper une baisse du marché immobilier londonien et une mauvaise santé de l’économie anglaise pour éviter une exposition aux conséquences du Brexit) ; ensuite, il est impossible de modéliser avec précision toutes les conséquences des évolutions de certaines variables économiques sur les bilans des banques ; enfin, la finesse de calcul ainsi que la vitesse de mise en œuvre des stratégies de couverture ne permettront jamais de les ajuster en temps réel. Sans oublier que ces scénarios sont des modèles, limités par l’imagination humaine ; les institutions financières n’avaient visiblement pas imaginé de scénario de pandémie avant le covid-19. Il faut également comprendre que cette couverture a un coût (a minima le coût de transaction des instruments négociables correspondants), et que les institutions ne veulent pas nécessairement payer les coûts de couvertures correspondants à tous les risques.
Pour toutes ces raisons, les régulateurs exigent des participants de marché, et particulièrement de ceux considérés comme systémiques (quatre banques françaises étaient concernées en 2019 – BNP Paribas, le groupe BPCE, le groupe Crédit Agricole et la Société Générale), de calculer fréquemment des marges de sécurité en prenant en compte de nombreux facteurs de risque. Plus de 1 000 ont été identifiés dans la régulation Bâle III, proposée en 2010, pour renforcer le système financier à la suite de la crise de 2008. Pour répondre à ces évaluations de risques ainsi qu’aux exigences de régulation, les institutions financières, en particulier les banques d’investissement, se sont progressivement équipées de centres de calculs de plus en plus puissants. À la fin des années 1990, elles étaient même parmi les plus gros possesseurs de calculateurs et de mémoire de stockage.
D’une industrie financière « haute couture » à une industrie de masse
À cette époque, ces capacités informatiques furent mobilisées pour répondre de plus en plus précisément aux questions des régulateurs, et pour estimer l’exposition de produits financiers de plus en plus sophistiqués, nécessitant toujours plus de mémoire et de calculs. L’industrie financière était alors comparable à l’industrie de la haute couture : elle fabriquait des produits sur mesure, très sophistiqués, à très forte marge, avec un circuit logistique assez peu optimisé. Là où les maisons de haute couture ont des ateliers plein de toutes sortes de tissus, de cuirs ou de fils de soie, les inventaires des banques étaient, quant à eux, remplis de leur matière première : des risques de toutes sortes. Car lorsqu’on veut des produits sophistiqués à forte marge, on n’a pas besoin de se préoccuper des variations de la valeur de sa matière première ; on préfère l’avoir sous la main plutôt que de se risquer à devoir aller en acheter ou en revendre chaque matin.
Comment et en quelle proportion faut-il « revendre » un facteur de risque pour ne plus y être exposé ? Exemple avec le Brexit : selon la théorie de Bachelier, il existe une combinaison linéaire d’actions et d’obligations britanniques qu’il faut vendre ou acheter pour qu’un portefeuille donné ne soit plus sensible à la sortie du Royaume-Uni de l’Europe. Cette combinaison est différente chaque jour, et potentiellement plus fréquemment encore. « Conserver ou stocker ce risque » revient à ne pas effectuer ces achats et ventes plusieurs fois par jour.
Lorsque la crise de 2008 s’est déclenchée, les problèmes économiques réels (essentiellement ceux des emprunteurs immobiliers américains) se sont propagés aux risques stockés dans les bilans des banques. Autrement dit, les institutions financières n’avaient pas envisagé de modèle de risque dans lequel ce problème de non remboursement d’emprunts se posait, ou n’avaient pas fait le choix de payer les coûts de transaction quotidien permettant de diminuer l’exposition de leurs portefeuilles à ce risque. Elles avaient « conservé ce risque dans leur bilan ». Nous connaissons la suite.
Deux grands principes ont été tirés de cet échec : d’une part les gouvernements se sont engagés à suivre l’état des inventaires des participants de marché [2] dans le but de les maintenir à un niveau de risque très bas ; d’autre part, les clients des banques d’investissement, tout comme les banques elles-mêmes, se sont tournés vers des produits plus simples. Depuis 2009-2010, l’industrie financière n’opère plus sur le modèle de la haute couture, elle est devenue une industrie de marché de masse, où s’échangent désormais beaucoup de produits plutôt similaires, à faible marge, faciles à vendre ou acheter, et donc moins coûteux à couvrir. Comme toutes les industries à faible marge, la logistique est devenue un élément crucial de succès : travailler à flux tendu veut dire savoir anticiper les demandes des clients et stocker le moins de matière première possible (ici de risque).
Chronique d’un rendez-vous manqué
Lorsqu’on réfléchit en ces termes, l’intrusion des institutions financières dans l’industrie de masse après la crise financière de 2008 signifie que ces propriétaires d’énormes puissances de calcul et de stockage informatique auraient dû en profiter pour se mettre à gérer des questions d’anticipation des besoins clients et de combinatoire de stocks. Pourtant, ce sont Amazon et Uber qui ont innové en termes d’anticipation de demande client, et Facebook ou Google en termes d’exploitation de données audio ou textuelles (pensons aux énormes bases de données des centres d’appels des banques de détail). L’innovation n’est pas venue des banques et des assurances d’ampleur mondiale. Ce ne sont pas elles que l’on trouve sur les premières marches des podiums de l’intelligence artificielle (IA) mais les géants de web : les Gafam (Google, Apple, Facebook, Amazon et Microsoft) et autres Natu (Netflix, Airbnb, Tesla et Uber) ou BATX (Baidu, Alibaba, Tencent et Xiaomi). Ce sont ces plateformes numériques qui mènent les recherches les plus efficaces pour la reconnaissance d’images, vocales, l’interprétation de langage naturel, la recommandation clients et la construction automatique de stratégies.
Ainsi, Amazon met en œuvre des moyens de stockage innovants pour identifier et faire sortir très rapidement les produits de ses zones de stockage ; la plateforme numérique utilise des baisses de prix pour ajuster son inventaire ; elle pré-achemine aussi les commandes avant même qu’un client ne les achète grâce à des modèles prédictifs par zones de chalandise assez fines. Airbnb, en parfait intermédiaire, ajuste les prix de ses clients « offreurs » de logements afin de correspondre à l’appétit des « loueurs », tout en mettant au point une infrastructure de séquencement de calcul innovante, AirFlow, et en l’open-sourçant. C’est aujourd’hui un des outils de séquencement dominant des systèmes apprenants. Où sont les institutions financières dans le paysage de l’innovation technologique liée aux sciences des données ? Et quels systèmes en provenance des banques sont visibles dans le monde de l’open source [3] ? Venant moi-même du milieu de l’apprentissage statistique (j’ai fait ma thèse il y a vingtans sur le sujet avec Robert Azencott), et travaillant depuis quinzeans dans le monde financier, j’ai vu se dérouler ce rendez-vous manqué. Quelles en sont les raisons ?
La première est sans doute que les banques d’investissement ont longtemps réservé les approches scientifiques à l’étude de la complexité des produits financiers plutôt qu’à la distribution de leurs services et à l’exploitation de données extra-financières. Dans les banques, les scientifiques mettaient au point des stratégies de couverture dans l’arrière boutique et les commerciaux s’occupaient des clients, sans véritable lien entre les capacités techniques des premiers et les besoins des seconds. Dans le même temps, comme on l’a vu, les régulateurs ont imposé des contraintes de plus en plus sévères mais justifiées quant au calcul de risque. Cette exigence progressive a focalisé l’attention des participants de marché sur le « prochain petit pas » à effectuer, détournant leur attention des possibles changements de paradigmes.
Rattraper le temps perdu
Aujourd’hui, le secteur de la finance s’attache à rattraper le temps perdu en matière de sciences des données et d’IA. Les institutions financières ont notamment recours à des réseaux de neurones profonds pour mettre au point des stratégies de couverture optimales, ce qu’on appelle le « Deep Hedging [4] ». Sachant que, de par la nature de leur activité, le recours à l’IA leur impose une contrainte forte en matière d’éthique, même si ce terme est sans doute bien trop emphatique dans ce cadre. Il s’agit notamment de s’assurer que les algorithmes apprenants fassent ce qu’ils sont censés faire, sachant qu’ils dépendent autant des données avec lesquelles on les nourrit que de codes informatiques.
Une initiative très ambitieuse a ainsi été entamée par Goldman Sachs, en 2013, avec sa plateforme Marquee qui se veut être une sorte de « Facebook de la finance d’investissement », et des « Data Labs » ou « AI Labs » fleurissent chez la plupart des industriels de la finance de marché [5]. L’an dernier, l’Institut Louis-Bacheliera lancé un projet de recherche transverse intitulé « Finance and Insurance Reloaded », dont j’assure la direction scientifique, pour fédérer les collaborations entre les industriels de la finance et les universitaires. Nous focalisons nos recherches selon trois grands axes : une personnalisation des produits et de l’expérience client, une meilleure intermédiation du risque, et une plus forte connexion avec l’économie réelle. Dans ces trois domaines, nous étudions le déploiement de systèmes apprenants. Il est bien entendu capital de comprendre comment adapter la régulation à ces nouveaux outils.
Généralement, les régulateurs essaient d’être « neutre à la technologie » : c’est le service financier qui est régulé et non le moyen de le produire. Néanmoins la responsabilité, et donc la gouvernance, des sociétés fournissant des services financiers sont concernées, car il faut pouvoir identifier la cause d’une irrégularité. Puisque les technologies de l’intelligence artificielle permettent souvent de court-circuiter des étapes de décisions, elles modifient la place et le rôle des humains. De fait, si équiper les conseillers de clientèle d’une banque de détail d’un moteur de recommandation automatique ne change pas la chaîne de décision, il en va tout autrement pour une banque d’investissement lorsqu’elle calcule sa stratégie de couverture optimale avec un réseau de neurones entraîné par une méthode de renforcement.
Du parcours balisé de la validation des modèles de couverture traditionnels…
On l’a dit, le « hedging » est le processus de couverture de facteurs de risques. Avant d’évoquer le Deep Hedging, qui consiste à recourir à des méthodes d’apprentissage par renforcement et des réseaux de neurones profonds, rappelons le fonctionnement des méthodes traditionnelles de couverture.
Un modèle de couverture est constitué d’un choix de facteurs de risques, de modèles mathématiques de dynamique des prix et de modèles reliant la valorisation des portefeuilles de la banque et ces dynamiques de prix. Chacun de ces modèles est explicite et documenté. Comme évoqué plus haut, les théories héritées de Bachelier expliquent comment déduire de ces choix une équation de Hamilton-Jacobi-Bellmanbien posée qu’il s’agit de résoudre numériquement avec des méthodes de Monte-Carlo ou un schéma d’Euler. Ces méthodes numériques utilisent en partie des librairies externes et en partie des codes ad hoc. Soulignons que le pas de discrétisation d’un schéma d’Euler peut être choisi afin d’obtenir de bonnes bornes sur la précision du contrôle.
Du point de vue d’un département du risque, le processus de validation d’un modèle de couverture traditionnel est balisé : questionnement des hypothèses des modèles mathématiques et économiques, tests via des simulations et validation des méthodes numériques. En ce qui concerne la première partie (questionnement des modèles), il s’agit de faire une analyse critique formelle du modèle : quelles dynamiques de l’économie sont « oubliées » par la modélisation ? Quel est l’impact des simplifications ? Pour la partie « méthodes numériques », il est possible de vérifier l’exactitude du code, par exemple en utilisant des méthodes de vérification formelles. Il faut aussi vérifier que le code écrit corresponde bien au modèle spécifié. À cette fin, le département des risques de la banque d’investissement ou de l’assurance utilise des simulations de trajectoires particulières et une analyse mathématique du modèle afin de comprendre quelles propriétés devraient être testées. Il s’agit d’un exercice sophistiqué, qui mobilise de larges équipes. Une fois qu’un code est validé, l’ajout d’un modèle ou d’une méthode de résolution est plus simple, car il ne faut revalider que quelques éléments ou quelques propriétés. La modification d’un modèle de courbe des taux, qui impacte presque toutes les stratégies de réplication, est compliquée à valider, mais c’est beaucoup plus simple de contrôler l’ajout d’un terme dans la formule d’un coupon de produit structuré déjà validé.
… à la délicate validation du Deep Hedging
Valider une stratégie de Deep Hedging est une tâche totalement différente. Il y a plusieurs possibilités. Prenons l’exemple d’une stratégie qui ne serait mise au point qu’à partir de données, même si ce genre de stratégie n’est pas encore en production [6] (justement pour des raisons de validation de modèle). Elle repose alors sur trois éléments : (1) des librairies externes, comme TensorFlow ou pyTorch, souvent produites par un géant du web ; (2) des données de prix de produits financiers ; et (3) un code ad hoc développé par la banque. Ce dernier présente les données à deux réseaux de neurones profonds. Le premier génère des trajectoires de prix « réalistes » et le second tente de répliquer le risque observé ou anticipé le long de ces trajectoires. L’intérêt du Deep Hedging comparé aux méthodes traditionnelles est qu’au lieu de parcourir toutes les stratégies possibles, on peut espérer que les réseaux de neurones se concentrent plus rapidement sur les trajectoires les plus efficaces. On gagnerait donc en temps de calcul et en consommation mémoire. Cela permet notamment de découvrir des stratégies de couverture en « plus grande dimension », c’est-à-dire en prenant en compte plus de dépendance entre les variables économiques sous-jacentes.
Notons cependant que, contrairement aux schémas d’Euler, les réseaux de neurones n’offrent pas de garantie d’erreur localement (c’est-à-dire en tout point de l’espace, i.e. pour tout contexte économique modélisé), ils ne garantissent qu’une erreur « en moyenne sur tout le domaine ». Il est donc possible qu’en réalité cette erreur moyenne soit constituée d’une toute petite erreur dans les conditions économiques plutôt normales, et d’une énorme erreur pour une ou deux conditions de marché plutôt marginales, mais pas si rares. Dès lors, comment vérifier qu’un modèle de Deep Hedging offre des garanties raisonnables un peu partout ? C’est envisageable mais compliqué, car cela peut être aussi coûteux que d’utiliser une méthode traditionnelle… Plusieurs équipes de recherche travaillent sur ce sujet dans l’industrie (par exemple chez JPMorgan Chase ou Natixis) et à l’université (comme à l’ETH Zurich ou à NYU). La question reste ouverte [7].
Ne pas faire aveuglément confiance aux données
Ce qui est particulièrement délicat est de comprendre l’influence des biais provenant des données sur le résultat : si on choisit pour l’apprentissage dix ans de données pendant lesquelles les prix étaient en hausse, comment savoir si la stratégie fonctionnera dans un contexte de baisse des prix ? Si vérifier que des prix sont à la hausse n’est pas trop compliqué, quelles autres caractéristiques de la base de données doit-on vérifier ? On comprend vite que mettre en place une stratégie de validation est en réalité une tâche de modélisation. Voire de « contre-modélisation » car puisque les biais des données ne sont pas explicites, il faut savoir à quels biais s’attendre, donc avoir à l’esprit un « modèle » des dynamiques de prix possibles. Ceci est d’autant plus sophistiqué que dans le cas des méthodes traditionnelles de couverture, on valide le modèle qui génère les dynamiques des produits financiers dans l’espace des prix, alors que dans le cas de l’apprentissage de stratégies de couverture, on valide le modèle implicitement contenu dans les données dans l’espace des contrôles (c’est-à-dire celui des stratégies de couvertures apprises). On ne peut pas faire l’économie d’une modélisation. Par ailleurs, là où la modification d’une partie d’une chaîne de hedging traditionnelle n’exige souvent que la revalidation d’une petite partie de toute la chaîne, chaque apprentissage doit, pour sa part, être de nouveau vérifié de bout en bout.
Au-delà de cette procédure de validation, complexe, il faut aussi veiller à définir les responsabilités en cas d’incident : quelle est la part de responsabilité du producteur de la librairie, du fournisseur (et curateur) des données, de l’équipe interne qui produit le code, du propriétaire de la grille de calcul, support de l’apprentissage ? Si ces questions peuvent paraître nouvelles, on retrouve néanmoins celles qui se posent déjà aujourd’hui sur les librairies de calcul numérique vendues par des sociétés externes. Par ailleurs, pour calibrer la partie instantanée de leurs algorithmes, les traders utilisent, même dans un cadre traditionnel, des données de prix de marché ; ils sont donc influencés par ces données. Le cas des prix « contribués » est typique : lorsque des instruments financiers ne sont pas suffisamment souvent échangés sur des marchés publics, pour leur attribuer un prix afin de calibrer les modèles, les régulateurs acceptent que des agences privées utilisent une méthode « par sondage » en demandant à des participants, anonymes, un « niveau de prix indicatif », qu’ils jugent réaliste. Déjà aujourd’hui, les départements évaluent l’influence de cette approximation sur les stratégies ; leurs méthodologies de validation pourraient être améliorées. De même, alors que les banques commencent à délocaliser leurs calculs sur des clouds externes, de nouvelles questions se posent sur la chaîne de responsabilité. Ce seront sans doute les mêmes que posent le recours à des clouds spécialisés en Deep Learning (comme AWS ou GCP).
De nouvelles questions utiles à la régulation
Finalement, ces technologies de réplication du risque permettent de « monter en dimension » et donc de couvrir plus de scénarios que les méthodes traditionnelles, ce qui est très positif. En contrepartie, on l’a vu, on ne sait pas encore bien comment les valider, notamment parce qu’elles apportent des réponses dans des domaines où il n’y a pas d’alternative, donc pas de comparaison possible. Par ailleurs, qualifier l’influence de biais dans les données sur la stratégie obtenue est une tâche sophistiquée, qui revient à valider le choix d’un modèle implicite caché dans les données. En réalité, nourrir directement un algorithme apprenant avec des données ne revient pas à se passer de modèle mais à laisser les données choisir un modèle mal défini, qu’il convient de mettre à jour.
Autrement dit, il n’y a pas tant de différences entre le processus complet de mise au point de méthodes traditionnelles de stratégies de couverture ou de Deep Hedging. En revanche, l’exercice de réflexion que nous impose l’émergence de techniques d’apprentissage profond met à jour de vraies questions auxquelles il faut bien entendu répondre, et qui vont aider à mieux réguler les processus existants, apprenants ou pas, pour lesquels on ne s’est peut-être pas posé toutes les questions que l’on aurait dû. L’intrusion du terme « intelligence artificielle » dans une chaîne de décisions permet de soulever des interrogations importantes, sans doute plus formellement et de façon plus claire, et apporte de nouvelles réponses dont il faut tirer des leçons au-delà du cadre particulier de l’utilisation de l’IA.
Références
[1] Techniquement, cette analyse repose sur des calculs de dérivées partielles ayant recours à la formule de Ito (qui permet de calculer des différentielles le long de variables aléatoires) et à la correspondance de Feynman-Kac (qui permet de passer des espérances de différentielles stochastiques à des équations aux dérivées partielles).
[2] Cf. Le sommet du G20 de Pittsburgh en septembre 2009.
[3] Pour être tout à fait honnête, Pandas, une librairie Python de gestion des séries temporelles, vient d’un petit acteur du monde de la finance : le fond spéculatif AQR Capital.
[4] Cf. l’édition de la table ronde « La course contre la machine : apprentissage profond contre modélisation – illustration avec le Deep Hedging »par l’AFGAP et l’Institut Louis-Bachelier (Nicole El Karoui, Charles-Albert Lehalle, Sandrine Ungari), à paraître en juin 2020.
[5] Cf. « La finance de marché à l’aire de l’intelligence bon marché » dans la Revue d’Économie Financière 4,n°135, 2020
[6] Les stratégies de Deep Hedging aujourd’hui en production, qui sont peu nombreuses, utilisent un réseau de neurones profonds pour la couverture, mais il est exposé à des dynamiques de prix modélisées et simulées par des méthodes de Monte-Carlo. Il s’agit en quelques sortes de méthodes hybrides.
[7] Même si on imagine bien que pour un perceptron profond à activation ReLU en dimension N, dont la fonction réponse est finalement continue, affine par morceaux, il « suffirait » de tester la stratégie sur N points pour chacun des « morceaux » du support du perceptron, puis de prendre en compte l’aspect bouclé du contrôle ; un peu comme si on surveillait une section de Poincaré qui parcourrait ces morceaux.
