Кароль Сверчевский был коммунистом по убеждениям, а не из карьерных соображений, об этом пишут даже нынешние польские историки. Родившись в 1897 году в Варшаве в семье еврейского рабочего, он сам рано начал работать — после второго класса средней школы пошёл в ученики токаря на фабрику ножей Gerlach (существует до сих пор).
Кароль стал членом партии «Социал-демократия Королевства Польского и Литвы», а в 1915-м, после эвакуации вместе с фабрикой сначала в Казань, а потом в Москву, примкнул к большевикам.
В 1916-м Кароль Сверчевский работал токарем и слесарем на заводе «Проводник» в Москве, откуда его призвали в Русскую Императорскую армию и отправили на фронт. После февральской революции он вернулся в Москву, и в октябре 1917-го как боец отряда «Красной гвардии», созданного на заводе «Проводник», принял участие в вооружённом восстании большевиков. Затем был отправлен на Украину, где участвовал в боях против войск Центральной рады, а в феврале-марте 1918 года воевал против германских интервентов в Белоруссии.
Позже в составе РККА Кароль Сверчевский воевал против казачьих войск генерала Краснова и Добровольческой армии генерала Деникина. С февраля 1921 года служил преподавателем по владению оружием на Московских курсах красных коммунаров. С мая по июнь 1921 года, будучи командиром батальона этих курсов, участвовал в подавлении Тамбовского восстания, и продолжил службу в Тамбове. В августе 1924 года был направлен на учёбу в Москву.
В 1927 году Сверчевский окончил Основной факультет Военной академии РККА имени Фрунзе, где, в частности, в совершенстве изучил французский язык. С июля 1927 года — начальник штаба 7-го кавалерийского Черниговского Червонного казачества полка 2-й кавалерийской дивизии, с января 1928 года — помощник начальника 7-го (разведывательного) штаба Белорусского военного округа.
В октябре 1929 года Кароль Сверчевский был переведён на службу в Разведывательное управление Штаба РККА, где служил начальником сектора в одном из управлений. С апреля 1931 года он руководил секретной военно-политической школой при Исполкоме Коминтерна, где иностранных коммунистов обучали военному делу. В это время Сверчевский также был членом Польской секции Коминтерна, и учил, среди прочих, будущего руководителя коммунистической Польши Владислава Гомулку.
В 1936 году Москва решила использовать бывших учеников Сверчевского в реальной войне. Кароль Сверчевский отправляется в Испанию и формирует там XIV (французскую) Интербригаду имени «Марсельезы», которой командует под псевдонимом «генерал Карл Вальтер».
