Urodził się 7 marca 1898 r. w Lubartowie w rodzinie Wincentego i Anny z Charlińskich. Ojciec był murarzem, matka zajmowała się domem. Rodzina mieszkała przy ul. Browarnej /obecna Partyzancka/. Józef całe swe życie przeżył w tym właśnie domu. Był najmłodszym dzieckiem w rodzinie, Jego starsze rodzeństwo to Anastazja i Stefan.
Podobnie jak inne dzieci mieszczańskie uczęszczał do miejscowej szkoły elementarnej, gdzie zdobył podstawowe jak na ówczesne czasy wykształcenie. Od dzieciństwa przejawiał zainteresowania i uzdolnienia muzyczne. Zapewne już w niepodległym kraju podjął naukę gry na skrzypcach w Szkole Muzycznej im. Stanisława Moniuszki w Lublinie, pod kierunkiem wybitnego pedagoga Wacława Grudzińskiego. Po jej ukończeniu dokształcał się zaocznie prawdopodobnie w Wyższej Szkole Muzycznej w Warszawie. O nieprzeciętnym talencie muzycznym Józefa, którego określano wręcz „genialnym muzykiem samoukiem” świadczy fakt, że grał także na fortepianie, mandolinie i wiolonczeli.
Jego działalność była niezwykle różnorodna. Jeszcze przed odzyskaniem niepodległości podjął pracę jako urzędnik magistracki. Z relacji rodzinnych wynika, że ostrzegał przed aresztowaniem nakazywanym przez lubelskiego gubernatora polskich działaczy postępowych.
W 1916 r. znalazł się w gronie założycieli Spółdzielczego Stowarzyszenia ,,Jedność” w Lubartowie. W rejestrze członków Spółdzielni Spożywców Jedność zapisany jest pod nr 78. W późniejszym okresie (od 1930 r.) pełnił nawet funkcję sekretarza Rady Nadzorczej i członka komisji kulturalno-oświatowej Stowarzyszenia.
Według relacji Wandy Śliwiny jesienią 1918 r. Rafalski uczestniczył w rozbrajaniu okupantów austriackich na dworcu kolejowym w Lubartowie. Była to akcja przeprowadzona przez POW na terenie Lubelszczyzny w pierwszych dniach listopada 1918 r. W jej efekcie władzę nad miastem i powiatem przejęli Polacy.
W okresie międzywojennym Józef Rafalski angażował się w różnorodne dziedziny życia, zyskując duże uznanie w lokalnym środowisku.
Na co dzień uczył muzyki w lubartowskich szkołach, prowadził chóry szkolne oraz kwartet smyczkowy w gimnazjum. Współpracował z nauczycielami szkół wiejskich, prowadząc tam zespoły śpiewacze. Jako nauczyciel lubartowskiego gimnazjum, w roku 1922 zorganizował dwie szkolne drużyny piłkarskie o nazwie ,,Błękitnych” i ,,Zielonych”, które rywalizowały ze sobą. Zdarzało się że sam brał udział w tej grze. Kiedy zaś powstał w Lubartowie Klub Sportowy ,,Lewart” znalazł się w jego składzie i w latach 1923 – 1928 uczestniczył w rozgrywanych meczach.
W dniu 19 marca 1926 r. został członkiem honorowym lubartowskiego Cechu Rzemieślników, tego dnia obchodzącego 350. rocznicę istnienia. Współpracował też w tym czasie z Kołem Polskiej Macierzy Szkolnej w Lubartowie, wspierając ks. Aleksandra Szulca, pełniącego funkcję prezesa, w społecznym prowadzeniu biblioteki Macierzy.
Był również Rafalski działaczem powstałego w 1917 r. Polskiego Towarzystwa Miłośników Sztuki w Lubartowie. Kierował sekcją muzyczną Towarzystwa, w ramach której opracowywał repertuar na wieczory wokalno-muzyczne i komponował muzykę do spektakli teatralnych. W latach 1926 – 1927 sprawował kierownictwo Chóru ,,Lutnia”. Ponadto prowadził inne zespoły: mandolinistów przy Stowarzyszeniu Rodziny Urzędniczej, mandolinistów i kwartet smyczkowy oraz chór przy Ochotniczej Straży Pożarnej, chór przy Spółdzielczym Okręgowym Związku Spożywców Stowarzyszenia ,,Jedność”, od którego 19 marca 1930 r. otrzymał srebrny zegarek ,,Omega”, z dedykacją ,,Kochanemu Dyrygentowi – w upominku”. Prowadzone przez Niego zespoły występowały w czasie uroczystości kościelnych, środowiskowych czy miejskich z repertuarem opracowywanym przez Józefa Rafalskiego. Były to okolicznościowe utwory artystyczne, ludowe, patriotyczne, kolędy i pieśni wielkopostne.
Wzorem Oskara Kolberga zajmował się Józef Rafalski również działalnością o charakterze etnograficznym. W latach 1923 – 1939 wędrował po lubartowskich wsiach i zbierał ludowe piosenki, zapisując słowa oraz melodie zasłyszane od najstarszych mieszkańców. Przygotowywał ich opracowania i aranżacje muzycznie, także na czterogłosowy chór mieszany.
Wiele z tych utworów drukowanych było w lubelskich czasopismach, takich jak: ,,Praca oświatowa”, ,,Lubelska pieśń ludowa”, „Zbiór pieśni lubelskich” itp. Dziesięć najciekawszych pieśni ludowych zebranych przez Niego w sześciu wsiach powiatu lubartowskiego, wydał w ,,Śpiewniku Lubelskim” w 1933 r. Związek Teatrów i Chórów Ludowych. Sam Rafalski wydał też ,,Śpiewnik szkolny” /do słów Marii Konopnickiej/. Natomiast w 1937 r. Jego kompozycje pieśni wielkopostnych i kolęd zostały wydane jako bezpłatny dodatek do ,,Kroniki Muzycznej Organistów Diecezji Lubelskiej”.
Bogata działalność muzyczna, etnograficzna i kompozytorska sprawiły, że Józef Rafalski był bardzo ceniony w środowisku muzyków lubelskich. Był też miłośnikiem przyrody, człowiekiem szlachetnym i bardzo wrażliwym, spieszącym z pomocą potrzebującym. ,,Żył dla muzyki i dla ludzi – wszystko inne było dodatkiem” – tak Go postrzegali rodzina i znajomi.
Józef Rafalski zmarł 27 marca 1941 r. w wieku 43 lat. Spoczął w rodzinnym grobie na lubartowskim cmentarzu parafialnym.
Po zasłużonym lubartowskim muzyku pozostało wiele utworów, napisanych z własnej inwencji, lub przez niego kompozycyjnie opracowanych. Imię Józefa Rafalskiego przybrał istniejący w Lubartowie w latach 50. i 60. chór amatorski, który też wykonywał wiele jego kompozycji, zwłaszcza pieśni ludowych. Przetrwały materialne pamiątki po Rafalskim – do dnia dzisiejszego w zbiorach Muzeum Ziemi Lubartowskiej znajdują się Jego skrzypce i mandolina.
Życie i działalność Józefa Rafalskiego stało się przedmiotem badań naukowych . Na Wydziale Artystycznym UMCS w Lublinie w roku 2006 powstała praca magisterska autorstwa Marty Oniśk zatytułowana „Józef Rafalski (1898 – 1941) zapomniany muzyk z Lubartowa”, przybliżająca postać tego wybitnego muzyka i etnografa
