После того, как в апреле Одесса перешла в руки красных, по некоторым утверждениям, командовал советским бронепоездом № 870932, направленным против атамана Григорьева. В мае 1919 года в Одессе распространились слухи, что Мишка Япончик якобы служит секретарём Одесской ЧК. 28 мая председатель ЧК был вынужден опубликовать опровержение в официальной газете «Известия Одесского совета рабочих депутатов», в котором сообщил, что в действительности секретарём ЧК является Михаил Гринберг, который никакого отношения к Мишке Япончику не имеет.
В мае 1919 года получил разрешение сформировать отряд в составе 3-й Украинской советской армии, позднее преобразованный в 54-й имени Ленина советский революционный полк. Адъютантом у него был Мейер Зайдер по кличке «Майорчик», впоследствии застреливший Котовского[10]. Полк Япончика был собран из одесских уголовников, боевиков-анархистов и мобилизованных студентов Новороссийского университета. Красноармейцы Япончика не имели единой формы, многие ходили в шляпах канотье и цилиндрах, но каждый считал делом чести носить тельняшку.


Попытки наладить в сформированной части «политработу» провалились, так как многие коммунисты отказались вступать в полк для ведения в нём пропагандистской работы, заявив, что это опасно для жизни. Официальным комиссаром полка был назначен анархист Александр Фельдман «Саша». По данным исследователя Виктора Ковальчука, прибывшего в полк комиссара Фельдмана «бойцы» Япончика встретили громовым хохотом.
Полк был подчинён бригаде Котовского в составе 45-й стрелковой дивизии Ионы Якира и в июле направлен против войск Симона Петлюры. Перед отправкой в Одессе был устроен пышный банкет, на котором командиру полка Мишке Япончику были торжественно вручены серебряная сабля и красное знамя. Начать отправку удалось только на четвёртый день после банкета, причём в обоз полка были погружены бочонки с пивом, вино, хрусталь и икра.
Дезертирство «бойцов» полка началось ещё до отправки. По данным исследователя Савченко В. А., в итоге на фронте оказалось лишь 704 человека из 2202. Уже тогда комдив Якир предложил разоружить полк как ненадёжный. Тем не менее, командование 45-й дивизии признало полк «боеспособным», хотя бандиты всячески сопротивлялись попыткам наладить военное обучение.
Первая атака полка в районе Бирзулы против петлюровцев была успешной, в результате чего удалось захватить Вапнярку и взять пленных и трофеи, но последовавшая на следующий день контратака петлюровцев привела к разгрому и бегству полка. Оставшаяся часть полка после этого дезертировала. По легенде, полк якобы взбунтовался и захватил два поезда, чтобы вернуться в Одессу. По другим сведениям, комдив Якир приказал Япончику, чтобы изолировать его от полка, направиться в Киев в распоряжение командующего 12-й советской армией.
Япончик с ротой охраны численностью 116 человек в Киев не поехал, а дезертировал и попытался вернуться в Одессу, однако в Вознесенске попал в организованную чекистами засаду и был убит при аресте. Оставшиеся «бойцы» 54-го полка были частично перебиты кавалерией Котовского, частично выловлены частями особого назначения; уцелел только бывший «начальник штаба» полка, бандит Мейер Зайдер. Кроме того, до 50 человек были направлены на принудительные работы.
Уцелевшие люди Япончика обвинили в его смерти комиссара полка Фельдмана и убили его в октябре 1919 года. По данным исследователя Савченко, Фельдман прибыл на могилу Япончика лишь через четыре часа после похорон и потребовал раскопать её, чтобы удостовериться, что там действительно похоронен Япончик. Через два дня на место прибыл наркомвоенмор Украины Н. Подвойский, потребовавший снова вскрыть могилу.
В то же время, согласно архивным данным, в действительности Мишку Япончика расстрелял уездный военный комиссар Никифор Иванович Урсулов, награждённый за это орденом Красного Знамени. В своём рапорте на имя одесского окружного комиссара по военным делам Урсулов ошибочно назвал Мишку Япончика «Митькой Японцем.
