Mais comment créer un indicateur de sentiment (quantitatif) à partir d'articles publiés dans les médias (qualitatif) ? La méthode la plus simple, mais qui marche relativement bien, consiste à définir en amont un dictionnaire contenant une liste de mots positifs et une liste de mots négatifs. Ensuite, pour chaque article, un programme tout bête compte le nombre d'occurrence de mots positifs, le nombre d'occurrence de mots négatifs, et crée ensuite un indicateur quantitatif (par exemple "nombre de mots positifs - nombre de mots négatifs" divisé par "total de mots"). Deux dictionnaires principaux sont utilisés dans la littérature, le dictionnaireHarvard IV et le dictionnaire de Loughran & McDonald, mais il est aussi possible de créer sa propre liste de mots avec différentes approches plus ou moins complexes. Bref, revenons en à notre bulle immobilière !Dans l'article "Quantifying Animal Spirits: News Media and Sentiment in the Housing Market", Cindy K. Soo (University of Michigan) a développé un indicateur de sentiment concernant le marché immobilier, à partir des articles publiés dans les journaux locaux de 20 villes américaines. En utilisant le dictionnaire Harvard IV légèrement retravaillé, l'auteur a donc analysé 19,260 articles publiés entre 2000 et 2011 dans les médias américains. Par exemple, les mots "skyrocketing", "soaring" , "booming" et "heating up" sont associés à un marché haussier, et "decrease", "fall", "burst" à un marché baissier. L'approche dans ce papier est intéressante pour deux raisons. (1) Premièrement, un indicateur de sentiment différent est créé pour chaque ville, permettant de tester les variations de prix à l'échelle locale et d'essayer de comprendre pourquoi dans certaines villes les prix ont doublés alors que l'augmentation a été plus modérée dans d'autres. (2) Deuxièmement, l'auteur utilise de nombreuses autres variables de contrôle, afin de pouvoir isoler la valeur ajoutée (potentielle) apportée par cette nouvelle variable média. En effet, si par exemple le sentiment des médias n'est qu'un simple reflet des mouvements passés de prix (en gros, les médias sont optimistes quand les prix ont augmenté dans les derniers mois, et pessimistes lorsqu'ils ont baissé), alors en réalité le sentiment des médias n'apporte rien.
Le modèle créé par Soo essaye donc de prévoir la variation des prix de l'immobilier, ville par ville et pour un mois "t", en fonction : (1) des variations de prix des mois précédents, (2) des taux d'intérêt, (3) de diverses variables macro-économiques (chômage, salaire), (4) du pourcentage de prêt "subprimes" et (5) de la nouvelle variable de sentiment calculée à partir des articles publiés dans les médias locaux. Et cela nous donne ça (oui oui, le Captain' va expliquer ce tableau bizarre après...).
Ce tableau est justement le résultat (simplifié) du modèle économétrique présenté précédemment (avec quelques variables en plus). Chaque colonne représente un modèle différent (5 modèles donc), dans lequel on ajoute à chaque fois différentes variables. Par exemple, le pourcentage de prêt "subprimes" (% Subprime Loans) n'est pas incorporé dans le premier modèle, mais l'est dans les 4 suivants. Ce qui nous intéresse ici est que, pour l'ensemble des modèles, il y a des petites étoiles devant notre variable de sentiment. Les petites étoiles, c'est le Graal du chercheur: cela veut dire que la variable est "significative" (ici à un seuil de significativité de 1% pour ***), c'est à dire qu'elle apporte quelque chose au modèle. Par exemple, pour la seconde ligne "Year 1 Lag", le sentiment dans les médias sur les 12 derniers mois permet d'expliquer la variation du prix de l'immobilier le 13ème mois, et cela même lorsque l'on ajoute la variable "subprimes" au modèle. Et le coefficient est positif (+0,830 dans le premier cas), ce qui signifie que lorsque les médias sont optimistes à une période "t", alors le prix de l'immobilier tend à augmenter à la période "t+1" (et inversement). Et au passage, le sentiment des médias permet aussi de prévoir le volume de transactions (petit bonus pour ceux ayant le courage d'aller lire le papier de Soo).
Graphiquement, cela nous donne donc cette relation entre le sentiment et le prix de l'immobilier. Comme on peut le voir, il y a un fort changement de tendance du sentiment des médias (courbe bleue) à partir de 2004-2005, et les prix de l'immobilier baissent ensuite à partir de 2006 (courbe rouge). Ce mouvement est d'ailleurs particulièrement marqué à Miami et à Phoenix. A l'inverse, dans une ville comme Atlanta où les prix de l'immobilier ont relativement peu varié entre 2000 et 2011, le sentiment capturé en analysant les articles publiés dans le journal local d'Atlanta est lui aussi assez stable.
Les médias semblent donc être un "agent d'influence", dont les opinions peuvent affecter les décisions d'achat et de vente des individus. Le marché immobilier étant composé principalement de "particuliers" ayant des connaissances financières limitées (rien de méchant là dessus... voir les études sur l'alphabétisation financière... et contrairement au marché boursier qui est davantage un secteur de "professionnels"), les médias peuvent alors avoir un rôle encore plus important dans le processus de formation des prix, confirmant la théorie de Shiller (prix Nobel 2013).
Avant de conclure "pour prévoir l'évolution des prix de l'immobilier à Nantes, je vais m'abonner à Ouest-France et me mettre à la programmation d'algorithmes d'analyse de sentiment", il faut tout de même modérer les conclusions de cette étude, car elles sont basées sur un seul évènement (la crise des subprimes) et uniquement sur les Etats-Unis. Cependant, le Captain' trouve l'approche super intéressante, et vous réserve peut-être une surprise dans quelques mois sur ce sujet avec une méthodologie un peu différente (projet de recherche en cours, avec collaboration... mais chuuuuuuuut).
Conclusion: L'analyse textuelle est un domaine qui se développe depuis une dizaine d'années en économie et en finance. Des résultats très encourageants ont été révélés concernant la prévision des marchés financiers, par exemple par Tetlock (2007 - "Giving content to investor sentiment: The role of media in the stock market") et par Engelberg et al. (2011 - "The Causal Impact of Media in Financial Markets"). Pour les marchés où le ratio entre "particuliers" et "professionnels" est élevé, comme c'est le cas pour le marché immobilier, la théorie financière issue de la finance comportementale suppose que le sentiment peut effectivement créer des déviations temporaires de prix. En étant capable d'anticiper ou de mieux mesurer le sentiment, il est donc potentiellement possible d'anticiper les formations de bulles, puis leur éclatement. Bref, abonnez-vous à Ouest-France tout de même, on ne sait jamais !