Utworzony został w 1995 r. w budynku remizo-świetlicy wiejskiej przy ul. Kościelnej 5. Jej pierwszymi instruktorami byli Elżbieta Olędzka i małżeństwo Tarasiuków. W czerwcu 1996 roku, po powołaniu Gminnego Ośrodka Kultury, świetlica przekształciła się w klub kultury. Prowadziła go z energią Renata Kasjaniuk. Natomiast od września 1997 roku instruktorem klubu, zarazem animatorem wielu udanych akcji i imprez jest Katarzyna Pawłowska. Integralną częścią klubu stanowi Pracownia Śpiewu i Tańca prowadzona przez Agnieszkę Bieńkowską.
Klub czynny jest codziennie od poniedziałku do piątku w godzinach popołudniowych. Tutaj odbywają się próby zespołu śpiewaczego „Chodźta do nos” oraz tanecznych Macierzanka i Figiel. Klub słynie w Sworach i okolicy z: zajęć zumby, nauki gry na instrumentach oraz zajęć profilaktyczno – rehabilitacyjnych. Mają one wielu zwolenników. W czasie ferii zimowych i wakacji prowadzone są tu cykle zajęć edukacyjnych i rekreacyjnych dla dzieci i młodzieży. W klubie istnieje możliwość korzystania z komputera z dostępem do internetu, gier telewizyjnych, gry w bilard i tenisa stołowego.
Powodzeniem cieszy się filia Gminnej Biblioteki Publicznej, bogato wyposażona w księgozbiór liczący blisko 8 tys. woluminów. Korzysta z niej 117 czytelników ze Swór i okolicznych sołectw. Filię GBP czynną w poniedziałki, wtorki i czwartki prowadzi od lat Katarzyna Chwedczuk, która chętnie zaprasza na głośne czytanie baśni przedszkolakom „Czytanie na dywanie”, cykliczne spotkania w ramach akcji „Cała Polska czyta dzieciom – czytamy i my” połączone z zajęciami plastycznymi lub zabawami ruchowymi, „Zimowy poranek z książką”, w ferie zimowe, a w ich ramach: konkursy, gry, zabawy, quizy, zagadki, krzyżówki, wierszyki łamiące języki; obchody Dnia Babci i Dziadka, Dnia Kobiet, Dnia Matki i Dnia Dziecka, Tydzień Bibliotek, Ogólnopolski Tydzień Czytania Dzieciom. W 2018 r. Klub Kultury w Sworach zaprasza do udziału w: balu karnawałowym, Otwartym Konkursie Tańca Folkowego „Folkowe impresje” oraz VI Konkursie Piosenki Dziecięcej „O srebrny klucz wiolinowy”.