列波格拉瓦監獄就關了不少共產黨員。在約瑟夫和皮雅傑的活動下，一個人數眾多、組織嚴密的獄中黨支部很快建立起來。開始它由
9個人組成，後來又有
35名政治犯從米特羅維察轉移到這裡，加入到組織中來了。
黨的有生力量相當一部分是關在獄中的黨員，將來出獄，他們就是黨的骨幹隊伍，因此，加強獄中黨員的學習和培訓顯得格外重要。學習一無材料；二無老師。老師倒可以能者為師，先學一步的人教後學一步的人，材料要靠外面傳遞進來。這個困難也不難解決，因為監獄附近村子的用電器出了毛病需要約瑟夫去修理，他可以在一名獄警的看守下在村子裡隨意活動。
村子中有家咖啡店，它的女老闆是個虔誠的天主教徒，心地善良，願意儘力幫助那些遭到厄運的人。（順便提一下，解放後她仍然經營這家咖啡店，並仍然幫助犯人。不過這些犯人的性質與過去是完全不同了，她等於是在幫助人民民主專政的敵人。政府逮捕了她。
鐵托知道了這件事，便直接干預此事，他說：「放了這個老婦人吧，她是個宗教迷，她過去曾幫我們，現在卻幫助反動派，她看不出什麼差別，仍然以為在做好事。」政府這才沒有為難她。）女店主與約瑟夫約好，每隔那麼久，她家的電燈不是這盞就是那盞，總要安排「壞」一次。當約瑟夫跟着看守來到時，她就請看守喝杯咖啡。
而約瑟夫則上樓與同志們見面，把他們要的東西帶回去。
莫沙·皮雅傑早年曾在慕尼黑的美術學院學過美術，他熱衷于藝術。
在獄中，他設法搞到一些顏料和畫布，有機會就替人畫像。他給約瑟夫也畫過像，像後來傳出去。後來的南共領導人吉拉斯就是先看到這幅像而後才認識鐵托這個人的。
那一天皮雅傑坐在牢房裡，看到門廊上一個看守在打瞌睡。這真是個絶妙的模特：他有一個大圓鼻子，厚嘴唇，一頂油膩的帽子歪戴在頭上，顯得非常可笑。皮雅傑抓緊時機，很快將人像畫好。他正要收拾畫具，那個看守突然醒了，他跳起來，對皮雅傑大吵大嚷：「你在畫我？」
他把畫布搶過來，一看自己那麼副尊容，勃然大怒：「你乘我睡覺時畫我，這是醜化！」皮雅傑對他作解釋，說這是藝術，這幅畫是他最好的肖像畫之一。可是任你怎麼解釋也消不了看守的氣，他終於將畫布撕了。
藝術靈感不可再現，皮雅傑為此整天悶悶不樂。
獄中黨支部跟獄方作過二次鬥爭。一次是要求讓政治犯住在一起；一次是抗議獄方虐待和侮辱犯人。兩次鬥爭都取得了勝利。
1931年
4月，獄裡來了一位新的看守長，他一來就覺得列波格拉瓦監獄中的犯人享有的「自由」太多，決心整頓一下秩序。
獄中的地下室又冷又潮，已經關了好幾個犯了「獄規」的犯人。這一天，他們又將一名正在發燒的政治犯關進去。黨支部立刻發動全體犯人絶食，表示抗議，連刑事犯也拒絶吃東西。獄方慌了神，他們急忙找犯人代表談判。
獄方只求趕快平息事態，所以很快同意了犯人提出的條件，勸犯人們復食。但是犯人們仍不相信獄方的話，他們要約瑟夫發話才同意復食。這就使獄方看清了要打擊的靶子是誰。
6月，獄方硬說約瑟夫企圖組織犯人越獄，決定將他轉送到馬裡博爾監獄去。那所監獄早就臭名遠揚，監獄長的綽號叫劊子手。
約瑟夫一到，就被關進隔離室，但是他還是設法與其他難友互通消息，組織了一次絶食，迫使獄方同意每天放一次風、允許犯人點燈到半夜、允許犯人與獄外通信。約瑟夫正是利用這一條件，很快與薩比奇建立起聯繫。犯人們也利用放風時互相通氣，雖然獄方不准放風時說話，但他們把手放在頭上，看起來在搔頭，其實在用莫爾斯電碼打手語，這樣，犯人們往往能一致行動。
獄外時常給難友們寄來一些書刊和食物。書刊當然只能是獄方許可的，包括一些哲學、文學、心理學方面的書。約瑟夫對哲學產生了興趣。
有一次他向監獄長要求借一本希臘哲學的書。他譏諷約瑟夫：「你要哲學書幹嗎？你看看自己就可以找到你要的哲學了。」不過，他也確實不能理解，這些服刑的犯人怎麼會有興趣關心離他那麼遙遠的事。
牢房裡也有一些馬克思主義的書，那都是探監的人偷偷帶進來的。
這些書的封面被撕掉，再貼上獄方允許看的書的封面，如《天方夜譚》之類。看守們雖對這些書作了檢查，由於無知，往往打開來翻幾頁卻看不懂這些書的真正內容。關在監獄裡的還有好幾位教授，他們把大學裡的學風帶進了監獄，制定了學習計劃。從獄外帶進來的書每種只有一本。
馬克思主義的書籍都是德文本，因此大家要學就只好自己翻譯。每個懂德文的人都要翻譯幾十頁。約瑟夫在牢房裡翻譯過好多東西，這可以說是一種更有效的學習。
約瑟夫真正有時間坐下來看書學習，就是坐牢的這
5年。這
5年對他思想、文化水平的提高有着十分重要的意義。刑期快滿時，他感到遺憾的是還沒有完成學習計劃。
1933年
11月，約瑟夫服滿了
5年徒刑。本來他是可以申請假釋，提前離監的，但他認為，申請假釋就意味着犯人願意悔過，所以決心坐到刑滿。這一天他被允許穿上一套新衣，留着頭髮去見監獄長。監獄長告訴他，
5年刑期雖滿，但他得到奧古林去，他在那裡還欠了第一次審訊時未服完的刑期，共有
3個月。
在奧古林又蹲了
3個月牢，
1934年
3月，約瑟夫從奧古林監獄出來。
