Obelisk został ufundowany przez nadleśniczego dóbr Kozy Juliusza Beinlicha w 1884 roku i znajduje się i jest obowiązkowym przystankiem na szlaku papieskim między Groniczkiem i Hrobaczą Łąką w Beskidzie Małym.

Ze zdjęcia opublikowanego przez „Koziańskie wiadomości” wynika, że zostały uszkodzone elementy monumentu, zniknął wizerunek Maryi – Matki Bożej Częstochowskiej. Rozrzucono zostawione przez pielgrzymów i turystów znicze i świece. Zdewastowano też otocznie wokół tego urokliwego miejsca. O zdarzeniu powiadomiono policję.

Szlak papieskim, na którym znajduje się kapliczka zaczyna się od cmentarza parafialnego w Kozach. Tutaj pochowany jest ks. Franciszek Żak - koziański proboszcz, który ochrzcił Karola Wojtyłę. Jednym z ważniejszych przystanków na szlaku jest właśnie kapliczka „u Panienki”, którą często wspomniał Jan Paweł II podczas spotkań z beskidzkimi pielgrzymami w Watykanie.

W latach 50. ub. wieku ks. Karol Wojtyła wraz ze swoim studentami i przyjaciółmi przyjeżdżał do parafii w Kozach, gdzie wikariuszem był ks. Franciszek Macharski. Stąd przyszły papież wyruszał na górskie wyprawy.

Kapliczka powstała jako dowód wdzięczności za cudowne ocalenie życia przed wilkami. W postument z obrobionych boków piaskowca wkomponowano w górnej części obraz – twarz Madonny Częstochowskiej – ufundowany przez Julię i Jerzego Giernlów z Krakowa, związanych rodzinnie z Kozami. Na dole znajduje się wyryte w kamieniu nazwisko fundatora i data fundacji.