Twitter wordt overweldigend gebruikt voor negatieve reacties, waardoor het een verdachte bron is als luchtvaartmaatschappij ... [+] rangschikkingstool.
getty
Er zijn veel manieren om luchtvaartmaatschappijen te rangschikken. Financieel zijn resultaten van belang en Wall Street doet goed werk door te wijzen op de bedrijven die aandeelhouders een goed rendement opleveren en bedrijven die dat niet doen. De Net Promoter Score (NPS), gedeeltelijk ontwikkeld door Bain, wordt door veel industrieën gebruikt en hun luchtvaarttoepassingen zijn algemeen en robuust. Het Amerikaanse ministerie van Transport verzamelt en rapporteert over operationele resultaten van luchtvaartmaatschappijen, zoals tijdige vluchten, annuleringen en verloren bagage. Meerdere universiteiten en consumentenorganisaties hebben ook hun eigen ranglijst van de beste en slechtste luchtvaartmaatschappijen gepubliceerd.
Veel rankings zijn beperkt omdat: ze richten zich op consumentenkenmerken, maar niet op waarde, omdat ze er vaak niet van uitgaan dat verschillende luchtvaartmaatschappijen verschillende prijzen hanteren. Verzekeringsreis.com, een site die reisverzekeringen verkoopt, heeft nu een nieuwe studie uitgebracht dat luchtvaartmaatschappijen uitsluitend rangschikt op basis van Twitter-opmerkingen. Ik kan me geen nuttelozere en trivialere rangschikking voorstellen, en hoewel veel rangschikkingssystemen kunnen worden verbeterd, moet deze met grote voorzichtigheid worden benaderd.
Hoe de Insuremytrip-ranglijst werkt
Deze nieuwe rangschikking maakt gebruik van een proces dat sentimentanalyse wordt genoemd. Het gebruikt kunstmatige intelligentie om tweets te scannen op negatieve en positieve opmerkingen over luchtvaartmaatschappijen. Ze evalueren tienduizenden tweets en kijken naar veranderingen in de hoeveelheid sentimenten die in de berichten worden uitgedrukt. Op basis hiervan rangschikken ze luchtvaartmaatschappijen zowel op het absolute aantal negatieve opmerkingen als op de wijziging ten opzichte van een voorgaande periode. Het onderzoek scant ook op positieve commentaren en sluit daarmee ongeveer aan bij de hoofdgedachte van de meer rigoureuze NPS-methodiek.
Deze aanpak is de afgelopen vier jaar verzameld, maar begrijpelijkerwijs is er niets voor 2020, dus nu kunnen enkele trending- en jaar-op-jaar-statistieken worden bekeken. Als u ervan uitgaat dat problemen in de steekproef van kerngegevens constant zijn, is deze meerjarige trending waarschijnlijk het meest bruikbare aspect van dit onderzoek.
De resultaten van deze ranglijst
Voor 2022 laat dit onderzoek bijvoorbeeld zien dat van de tweets van United Airlines 37% negatieve opmerkingen heeft en 26% positieve opmerkingen. Verder is de positieve 26% een daling van zes punten vanaf 2021, wat suggereert dat dit jaar minder mensen positieve dingen over United tweeten. Alaska Airlines heeft het hoogste percentage positieve opmerkingen met 29% en Frontier Airlines heeft het hoogste percentage negatieve opmerkingen met 61%.
Als groep zagen alle luchtvaartmaatschappijen voor 2022 een afname van positieve opmerkingen en de meeste zagen een toename van negatieve opmerkingen. Gezien de operationele verstoringen van de industrie afgelopen zomer, is dit niet verwonderlijk. Interessant is dat de grootste zorg bij het vliegen volgens deze studie voor 2022 geld is, gevolgd door vertragingen, annuleringen en klantenservice. Met andere woorden, Twitter-resultaten suggereren dat klanten meer geven om het betalen van een laag tarief dan om vertraging, maar wanneer ze het negatieve sentiment over de vertraging registreren, verdwijnt de betaalde prijs op mysterieuze wijze.
Wat deze aanpak mist
Er zijn meerdere problemen met deze rangschikkingsbenadering. De eerste is de overweldigend negatieve tendens van alle tweets. Onderzoek van de universiteit van Harvard laat zien dat verontwaardiging zich sneller verspreidt op Twitter dan enig ander social media platform. Deze vooringenomenheid zorgt ervoor dat mensen meer gaan tweeten als ze negatieve dingen te zeggen hebben, dus als een absolute ranking is het geen geweldige onderliggende gegevensbron. De jaar-op-jaar trending, zoals eerder vermeld, heeft enige geldigheid.
De tweede beperking is het gebrek aan waarde die impliciet in de rangorde zit. Om de vlucht te kiezen, geven mensen veel om de prijs die ze betalen. Maar eenmaal daar ergeren dezelfde dingen iedereen, ongeacht wat ze hebben betaald. Gerelateerd hieraan is de grote ongelijkheid van wat mensen irriteert. Een vluchtvertraging van 30 minuten maakt voor sommige klanten misschien niet uit, terwijl anderen vinden dat dit hun reis verpest. Is koffie die niet te heet of te heet is hetzelfde als een verloren tas of flinke vertraging? Elk zou verschijnen als een negatief sentiment, maar er is geen weging van de ernst van de negativiteit.
Het laatste benaderingsprobleem van deze studie is de beperking in de gegevensbron. Schattingen van het Pew Research Center: dat slechts ongeveer 23% van de mensen gebruikt Twitter of tweet met enige regelmaat. Het baseren van een consumentenrangschikking op deze niet-willekeurige steekproef, zonder weging voor de omvang van de overtreding, beperkt de bruikbaarheid van dit onderzoek ernstig.
Betere manieren om sociale media in ranglijsten te gebruiken
Social media is een rijke omgeving van consumentengegevens. Reisorganisaties hebben gewerkt aan manieren om trends in locaties en andere reisinteresses te identificeren om interessante pakketmogelijkheden te creëren, of zelfs voor sommigen om te beslissen over nieuwe plaatsen om te vliegen.
Als een manier om luchtvaartmaatschappijen te rangschikken, zou ongetwijfeld een robuuste reeks sociale-mediastatistieken kunnen worden gebruikt om een realistisch consumentenbeeld van luchtvaartmaatschappijen te krijgen. Ik weet niet of iemand dit al heeft gedaan, en het gebruik van een enkele bron zoals deze Twitter-studie is verre van dat ideaal. De waardestatistiek, wat je krijgt voor wat je betaalt, is het meest interessant omdat het het meest gerelateerd is aan hoe mensen daadwerkelijk kopen. Wanneer we naar een bron kijken die alleen gebruikt wat mensen zeggen, zal dit verbleken in vergelijking met het koppelen hiervan aan de beslissingen die mensen daadwerkelijk nemen.
Het rangschikken van luchtvaartmaatschappijen alleen op basis van Twitter-reacties is zeer verdacht
Twitter wordt overweldigend gebruikt voor negatieve reacties, waardoor het een verdachte bron is als luchtvaartmaatschappij ... [+] rangschikkingstool.
getty
Er zijn veel manieren om luchtvaartmaatschappijen te rangschikken. Financieel zijn resultaten van belang en Wall Street doet goed werk door te wijzen op de bedrijven die aandeelhouders een goed rendement opleveren en bedrijven die dat niet doen. De Net Promoter Score (NPS), gedeeltelijk ontwikkeld door Bain, wordt door veel industrieën gebruikt en hun luchtvaarttoepassingen zijn algemeen en robuust. Het Amerikaanse ministerie van Transport verzamelt en rapporteert over operationele resultaten van luchtvaartmaatschappijen, zoals tijdige vluchten, annuleringen en verloren bagage. Meerdere universiteiten en consumentenorganisaties hebben ook hun eigen ranglijst van de beste en slechtste luchtvaartmaatschappijen gepubliceerd.
Veel rankings zijn beperkt omdat: ze richten zich op consumentenkenmerken, maar niet op waarde, omdat ze er vaak niet van uitgaan dat verschillende luchtvaartmaatschappijen verschillende prijzen hanteren. Verzekeringsreis.com, een site die reisverzekeringen verkoopt, heeft nu een nieuwe studie uitgebracht dat luchtvaartmaatschappijen uitsluitend rangschikt op basis van Twitter-opmerkingen. Ik kan me geen nuttelozere en trivialere rangschikking voorstellen, en hoewel veel rangschikkingssystemen kunnen worden verbeterd, moet deze met grote voorzichtigheid worden benaderd.
Hoe de Insuremytrip-ranglijst werkt
Deze nieuwe rangschikking maakt gebruik van een proces dat sentimentanalyse wordt genoemd. Het gebruikt kunstmatige intelligentie om tweets te scannen op negatieve en positieve opmerkingen over luchtvaartmaatschappijen. Ze evalueren tienduizenden tweets en kijken naar veranderingen in de hoeveelheid sentimenten die in de berichten worden uitgedrukt. Op basis hiervan rangschikken ze luchtvaartmaatschappijen zowel op het absolute aantal negatieve opmerkingen als op de wijziging ten opzichte van een voorgaande periode. Het onderzoek scant ook op positieve commentaren en sluit daarmee ongeveer aan bij de hoofdgedachte van de meer rigoureuze NPS-methodiek.
Deze aanpak is de afgelopen vier jaar verzameld, maar begrijpelijkerwijs is er niets voor 2020, dus nu kunnen enkele trending- en jaar-op-jaar-statistieken worden bekeken. Als u ervan uitgaat dat problemen in de steekproef van kerngegevens constant zijn, is deze meerjarige trending waarschijnlijk het meest bruikbare aspect van dit onderzoek.
De resultaten van deze ranglijst
Voor 2022 laat dit onderzoek bijvoorbeeld zien dat van de tweets van United Airlines 37% negatieve opmerkingen heeft en 26% positieve opmerkingen. Verder is de positieve 26% een daling van zes punten vanaf 2021, wat suggereert dat dit jaar minder mensen positieve dingen over United tweeten. Alaska Airlines heeft het hoogste percentage positieve opmerkingen met 29% en Frontier Airlines heeft het hoogste percentage negatieve opmerkingen met 61%.
Als groep zagen alle luchtvaartmaatschappijen voor 2022 een afname van positieve opmerkingen en de meeste zagen een toename van negatieve opmerkingen. Gezien de operationele verstoringen van de industrie afgelopen zomer, is dit niet verwonderlijk. Interessant is dat de grootste zorg bij het vliegen volgens deze studie voor 2022 geld is, gevolgd door vertragingen, annuleringen en klantenservice. Met andere woorden, Twitter-resultaten suggereren dat klanten meer geven om het betalen van een laag tarief dan om vertraging, maar wanneer ze het negatieve sentiment over de vertraging registreren, verdwijnt de betaalde prijs op mysterieuze wijze.
Wat deze aanpak mist
Er zijn meerdere problemen met deze rangschikkingsbenadering. De eerste is de overweldigend negatieve tendens van alle tweets. Onderzoek van de universiteit van Harvard laat zien dat verontwaardiging zich sneller verspreidt op Twitter dan enig ander social media platform. Deze vooringenomenheid zorgt ervoor dat mensen meer gaan tweeten als ze negatieve dingen te zeggen hebben, dus als een absolute ranking is het geen geweldige onderliggende gegevensbron. De jaar-op-jaar trending, zoals eerder vermeld, heeft enige geldigheid.
De tweede beperking is het gebrek aan waarde die impliciet in de rangorde zit. Om de vlucht te kiezen, geven mensen veel om de prijs die ze betalen. Maar eenmaal daar ergeren dezelfde dingen iedereen, ongeacht wat ze hebben betaald. Gerelateerd hieraan is de grote ongelijkheid van wat mensen irriteert. Een vluchtvertraging van 30 minuten maakt voor sommige klanten misschien niet uit, terwijl anderen vinden dat dit hun reis verpest. Is koffie die niet te heet of te heet is hetzelfde als een verloren tas of flinke vertraging? Elk zou verschijnen als een negatief sentiment, maar er is geen weging van de ernst van de negativiteit.
Het laatste benaderingsprobleem van deze studie is de beperking in de gegevensbron. Schattingen van het Pew Research Center: dat slechts ongeveer 23% van de mensen gebruikt Twitter of tweet met enige regelmaat. Het baseren van een consumentenrangschikking op deze niet-willekeurige steekproef, zonder weging voor de omvang van de overtreding, beperkt de bruikbaarheid van dit onderzoek ernstig.
Betere manieren om sociale media in ranglijsten te gebruiken
Social media is een rijke omgeving van consumentengegevens. Reisorganisaties hebben gewerkt aan manieren om trends in locaties en andere reisinteresses te identificeren om interessante pakketmogelijkheden te creëren, of zelfs voor sommigen om te beslissen over nieuwe plaatsen om te vliegen.
Als een manier om luchtvaartmaatschappijen te rangschikken, zou ongetwijfeld een robuuste reeks sociale-mediastatistieken kunnen worden gebruikt om een realistisch consumentenbeeld van luchtvaartmaatschappijen te krijgen. Ik weet niet of iemand dit al heeft gedaan, en het gebruik van een enkele bron zoals deze Twitter-studie is verre van dat ideaal. De waardestatistiek, wat je krijgt voor wat je betaalt, is het meest interessant omdat het het meest gerelateerd is aan hoe mensen daadwerkelijk kopen. Wanneer we naar een bron kijken die alleen gebruikt wat mensen zeggen, zal dit verbleken in vergelijking met het koppelen hiervan aan de beslissingen die mensen daadwerkelijk nemen.
Bron: https://www.forbes.com/sites/benbaldanza/2022/11/07/ranking-airlines-based-only-on-twitter-comments-is-highly-suspect/