Вскоре Иосиф Жинович познакомился со Станиславом Новицким, еще одним талантливым самородком, ставшим вторым цимбалистом Белорусского драматического театра.
Иосиф Жинович работал солистом-цимбалистом в БДТ-1 с 1922 по 1930 годы. Одновременно он учился в школе №11 (ныне – Юридическая гимназия №42 г. Минска по ул. Комсомольской, 21 ) и музыкальной школе, куда поступил в 1926 году. Не определившись окончательно с профессией музыканта (возможно, оттого, что в музтехникуме в то время еще не было отделения народных инструментов), в 1927 г. поступает на юридический факультет Белорусского государственного университета и в 1930 г. оканчивает его по факультету права и хозяйства. На последнем курсе обучения в университете Иосиф поступил в музыкальный техникум на композиторско-теоретическое отделение в класс Николая Ильича Аладова , а в 1932 г. перевелся в консерваторию в класс Василия Андреевича Золотарёва. В 1930 г. он становится участником Белорусского государственного ансамбля народных инструментов. По некоторым сведениям, занимаясь в техникуме на композиторско-теоретическом отделении, Жинович совершенствовал игру на цимбалах у педагога-ударника, ксилофониста Марковского.
В тот же период Иосиф Жинович занимался реконструкцией цимбал, делая это параллельно с Дмитрием Захаром. Известно, что в связи с этим он ездил на консультации в Москву.
В 1935 году родители Иосифа Жиновича были лишены избирательных прав, а после высланы с конфискацией имущества. В том же году Иосифа Жиновича исключили из консерватории и арестовали. Три года он провел в лагерях под Горьким. Находясь в заключении, написал письмо сестре В.И. Ленина М.И. Ульяновой. В письме он объяснял абсурдность выдвинутых против него обвинений и просил о помощи. Письмо дошло, и благодаря усилиям М.И. Ульяновой Иосиф Жинович был освобожден в 1938 году, вернулся в Минск и продолжил занятия в консерватории по классу композиции В. Золотарева. B 1938-1941 годах он снова – в штате Оркестра народных инструментов Белорусской государственной филармонии, как теперь именовался ансамбль, основанный Д.А. Захаром. По возвращении из лагеря И.Жинович стал концертмейстером этого оркестра, которым теперь руководил известный дирижер, впоследствии – народный артист СССР Константин Симеонов.
В июне 1941 г. Жинович окончил Белгосконсерваторию по факультету народных инструментов (теоретико-композиторское отделение).
В годы Великой Отечественной войны Жинович работал солистом Казахской государственной филармонии, был участником фронтовых концертных бригад. После освобождения Минска он вернулся в родной город. С 1943 года Иосиф Жинович – солист-цимбалист Белорусского государственного театра оперы и балета. В 1944 году ему было присвоено звание «заслуженный артист Белорусской ССР». 8 августа 1946 года он был назначен художественным руководителем возрожденного оркестра народных инструментов филармонии и оставался в этой должности до последних дней своей жизни.
Будучи дирижёром, Жинович не оставлял и сольную карьеру. Его репертуар состоял из собственных оригинальных произведений и переложений классических произведений. Как цимбалист-виртуоз он гастролировал в ГДР, Польше, Канаде, Финляндии, Франции, Чехии.
