Kärdla Baptistikoguduse ajalugu loetakse alates 1884. aastast, kui Kukka rannas ristiti esimesed viis inimest. Tegelikult algas vaimulik ärkamine juba 1881. aastal, kui Hiiumaale tulid neli rootslasest meest Vormsilt, et kuulutada elavat usku rootslaste järeltulijatele Reigis ja Rootsi külas. Kuna siinsed rannarootslased neid vastu ei võtnud ja neisse isegi vaenulikult suhtusid, pöördusid kuulutajad kurvalt tagasiteele.
Kärdlast läbi minnes äratasid võõrsilt tulnud oma rootsikeelse jutuga tähelepanu vennastekoguduse lugejas Paavel Elleris, kes pisut rootsi keelest aru sai. Vaimulikust ärkamisest Vormsil oldi siingi kuuldud, kuid nüüd oli võimalus ise küsida ja asjaosaliste usu siiruses veenduda.
Sellele näiliselt juhuslikule kokkusaamisele ja samal õhtul toimunud vaimulikule koosolekule Ellerite kodus järgnesid mitmed hiidlaste külaskäigud Vormsile, kust toodi kaasa ususäde, mis peagi Hiiumaalgi lõkkele lõi. Ühe sellise reisi ajal sai usklikuks ka Peeter Kaups, kellest sai koguduse esimene kohalik juht kolmekümne kaheks aastaks.
Esialgu oli kogudus Peterburi Saksa Baptisti Koguduse Haapsalu osakond ning pastorina teenis kogudust A. R. Schiewe. Alates 1894. aastast sai kogudus iseseisvaks ja juhatajaks valiti Peeter Kaups.
Alguses peeti koosolekuid taludes, kuni 1895. a ehitati oma palvemaja (praegu Kabeli tn 3). Krundi ja ka palgid palvemaja ehitamiseks kinkis Suuremõisa krahv Ungern-Sternberg. 29. novembril 1895. aastal pitsatiga kinnitatud kinkekirjas rõhutas krahv, et „selle kohha peal muu ehhituset, kui poodit, kõrtsit ehk teiset, mitte tohhi assutud saada, – wastoteggemene kaotab selle kingi õiguse ärra”. Kõpu metsa tormimurrust kingitud palgipuud tuli küll koguduseliikmeil endil Kärdlasse parvetada ning enne ka kõik võlad krahvile tasuda.
Noorel kogudusel tuli juba algusest peale rinda pista mitmete raskustega. Tsaarivõim tegi takistusi koosolekute läbiviimiseks, korduvalt ähvardati trahvide ja isegi vanglaga. Nii tuli Peeter Kaupsil sageli kohtu ees seista ja neljateistkümnel korral ka vee ja leiva peal olla. Palju tuli ette arusaamatusi kohaliku kirikuga, sest olid ju kõik tolleaegsed inimesed juba lapsena ristitud ja luteri kiriku liikmed.
Kuid mida õigupoolest siis need ärganud taotlesid? Peamiselt vaid üht: usklike Uue Testamendi järgi elamist ja uuestisündi ning usklike ristimist.
Vaatamata raskustele kasvas kogudus arvuliselt ning asutati mitmeid osakondi. Juba 1886. aastast oli kogudus alustanud pühapäevakooli ja tütarlaste tunniga. 1923. aastaks oli koguduses 357 liiget ja 107 last, 1939. aastaks aga 524 liiget ja 223 last. Kogudusel oli viis osakonda. 1918. aastast oli koguduse pastoriks Karl Kaups ja 1924–1969 Eduard Johannson-Heinla.
Kuna kogudus oli kasvanud suureks, jäi algne palvela koguduse töö jaoks kitsaks. Veel enne sõda tehti hoonele Eduard Heinla eestvedamisel kapitaalremont. Juba varem olid saalist lammutatud kõik vaheseinad, nüüd ehitati juurde abiruumid koos teise korrusega. Ümberehitustöödega saadi valmis 1939. aastal.
Pärast Teist maailmasõda võimule tulnud valitsuse eesmärgiks oli usk üldse hävitada. Sellest andis tunnistust nõukogude võimu poolt 1949. aastal just enne sõda laiendatud palvela sunniviisiline äravõtmine. Samuti mõjus kogudusetööle halvavalt mitmete aktiivsete liikmete põgenemine Vene võimu eest välismaale. Pärast palvela äravõtmist liideti endine nelipühikogudus ja baptistikogudus ning ühist jumalariigi tööd asuti tegema ühes majas (Käina mnt 13, nn. rootsi kabel). Loomulikult oli tollase nõukogude võimu eesmärk erinevate usulise tunnetusega usklike tülliajamine, lootuses koguduse töö lõhkuda. Siiski ühendasid raske aeg ja ühine Jumala armastus usklikke ning tänaseks on kogudus sulandunud ühte. 1969. aastast sai koguduse pastoriks Hans Kaups ja 1975. aastast tema poeg Ado Kaups.
Taasiseseisvumise aeg tõi kogudusse hulga lapsi ning põrandaalune pühapäevakool võis avalikult tegutseda. Nii paisuski lastetöö 90-ndate alguses väga suureks – lapsi käis koos rohkemgi kui koguduseliikmeid. Läbi ajaloo on koguduses töötanud mitmed koorid. Pikka aega on juhtinud nii segakoore kui ka meeskoori Viljo Liik. Tähelepanuväärivaks sündmuseks sai koguduse muusikaelus 2000. aastal meeskoori kasseti väljaandmine.
1993‒2004 teenis kogudust pastor Erki Tamm. 1994. aastal tagastati kogudusele õigusvastaselt võõrandatud ajalooline palvemaja Kabeli tänaval. Hoone oli väga halvas seisus ja vajas hädasti kapitaalselt renoveerimist. Kuna hoone oli võetud muinsuskaitse alla, ei tohtinud seda lammutada, vaid tuli taastada 1939. aasta ümberehitusjärgse välimusega. Kogudus asus koguma annetusi, et töid finantseerida. Esimesed suuremad tööd palvela renoveerimiseks tehti 1999. aastal. Seejärel tegevus mõneks ajaks peatus. 2004. aastal võttis pastoriameti üle Tarmo Kähr ning avanes võimalus palvela renoveerimistöid jätkata, sest Muinsuskaitseamet eraldas hoone välimuse taastamiseks märkimisväärse summa. Palju aitasid Floda Misjonikoguduse sõbrad, häid annetajaid oli nii kodu- kui välismaal. Jumala abiga õnnestus kõik üle ootuste hästi ning 2007. aasta 19. augustil peeti suure pidulikkusega tänujumalateenistus värskelt renoveeritud palvemajas. Sellest ajast tegutseb Kärdla Baptistikogudus jälle oma 1895. aastal ehitatud ajaloolises hoones.