Он родился в 1812 г. в Вильно, в семье певца и антрепренера Мацея Кажинского. Брал уроки музыки у Яна Давида Голланда и Юзефа Эльснера. С 1830 г. сотрудничал с виленским театром: сочинял музыку к спектаклям и играл в театральном оркестре. Позднее стал капельмейстером оперной труппы, был организатором многочисленных концертов (в т.ч. Станислава Монюшко) и спектаклей, к которым сам писал музыку (например, к «Свитезянке», поставленной по мотивам баллады Адама Мицкевича). В 1842 г. Кажинский поселился в Петербурге, где стал секретарем князя Алексея Львова, автора гимна «Боже, царя храни!» Прославился как исполнитель, интерпретатор и композитор камерной музыки, участник музыкальных салонов князя Львова, которые проходили в его доме на Караванной, 22. В 1844 г. совершил путешествие по Центральной Европе, во время которого особенно заинтересовался народными танцами. В 1845 г. стал капельмейстером Александринского театра. Сочинял оперы, симфонии, песни, в т.ч. на стихи Юзефа Богдана Залеского и Владислава Сырокомли. Из последних наиболее известной остается основанная на народных мотивах песенка «Влез котенок на забор». Кажинский поддерживал контакты со многими представителями творческих кругов, в т.ч. с Юзефом Игнацием Крашевским, Станиславом Монюшко, Каролем Липинским. Был похоронен на Выборгском римско-католическом кладбище в Санкт-Петербурге (ни кладбище, ни могила не сохранились).