Обидва слова правильні. Усе залежить від того, що мається на увазі. Якщо хижа південна тварина, що живиться переважно падаллю, — то це гієна.
Брате, що єсть вина? Хіба гієна винна, що смертю й розпадом живитись мусить? (Леся Українка).А от геєна — це книжне слово (переважно релігійно-церковного вжитку), синонім до іменника «пекло».
…Я питаю тебе, чи не попав ти між грішні душі в геєну огненну? (Микола Лукаш, переклад з Боккаччо).