Історія Ластівчиного гнізда почалася після російсько-турецької війни 1877-1878 рр., Після якої земля на березі чорного моря була подарована одному з генералів. Ім'я першого власника, генерала-романтика, не збереглося, але саме з його часів у дачі закріпилися назви «Замок любові і« Генераліфе ». Перше дерев'яна споруда на уступі мису з'явилося в кінці XIX століття, другим власником садиби став придворний лікар і гласний земства А. К. Тобін. Після його смерті вдова продала маєток московській купчисі Рахманіной. Свій сучасний вигляд Ластівчине гніздо набуло завдяки німецькому нафтопромисловців і барону Рудольфу фон Штенгелов.
Тоді будівлю являло собою звичайне дерев'яна будівля, саме таким його запам'ятали на своїх полотнах відомих художників-мариністи Айвазовський, Лагоріо і Боголюбов. Перша згадка про замок "Ластівчине гніздо" відноситься до 1895 року. У довіднику по Криму Григорій Москвич пише: «Дача« Ластівчине гніздо »побудована надзвичайно сміливо на прямовисній скелі». У 1927 році в Криму в районі Ялти трапилося досить великий землетрус. Утворилася глибока коса тріщина в скелі під замком, частина її разом з садом обрушилася в море, а оглядовий майданчик нависла над прірвою, проте сама будівля практично не постраждала, але шпилі все ж впали в море. Однак другий його поштовх силою в 9 балів прошив глибокою косою тріщиною скелю під замком «Ластівчине гніздо». Поруч з будівлею був розбитий сад, який в результаті землетрусу весь пішов в море.
На початку Першої світової війни маєток купив московський купець Павло Григорович Шелапутін, який відкрив в замку ресторан. Незабаром купець помер і ресторан закрився. Будівля перейшла до купчисі Рохманові, яка оформила інтер'єр неоготичного замку в давньоруському стилі. У роки Громадянської війни «Ластівчине гніздо» було закинуто. В кінці 1920 року після встановлення на півострові Радянської влади все колишні приватні володіння були передані у відання Головного управління радгоспами Криму. У 1930-ті роки тут знаходився читальний зал місцевого Будинку відпочинку «Перлина», але незабаром спорудження визнали аварійним і закрили. Відновлення почалося в кінці 1960-х рр. Скала була укріплена, під основу замку підведена залізобетонна плита, а сам він відреставрований. Будівля стає впізнаваним символом Криму.
В останні 20 років в стінах замку знаходився ресторан італійської кухні. Міцні напої і прекрасні пейзажі надихали відвідувачів на подвиги - стрибки в море з «гнізда». У 2011 році влада Криму закрили ресторан, а в будівлі розмістили виставкові зали. В експозиції представлені літографії, малюнки та гравюри, що розповідають про історію Південного берега Криму . У вересні 2011 року на скелі «Ластівчине гніздо» проводився міжнародний чемпіонат по Кліфф-дайвінгу - акробатичних стрибків у воду.
«Ластівчине гніздо» є візитною карткою Криму. На багатьох фотографіях, листівках, візитках і т.д. можна зустрітися з чудовим зображенням даного замку в різний час доби. Популярність цих місць надали відзняті тут епізоди незабутнього фільму «Людина-амфібія». Саме під цією скелею знаходилося «лігво» «морського диявола» Іхтіандра. У цих же скелях Станіслав Говорухін знімав фільм «Десять негренят».
«Ластівчине гніздо» можна оглянути не тільки зовні, але потрапити і всередину будівлі, де розташовується музей. Музей працює c 10:00 до 19:00 в літній час, з 10:00 до 16:00 в не сезон. У святкові та вихідні проводяться екскурсії, які необхідно замовляти заздалегідь. Дістатися до «Ластівчиного гнізда» на громадському транспорті можна з Ялти .
