Нынешняя территория Латгале по условиям Альтмаркского перемирия 1629 года оставалась в составе Польского государства под названием Инфлянтское воеводство (Инфлянтия — искаженное название Лифляндии). Инфлянтия (или Польская Лифляндия) состояла из четырех старост — Даугавпилсского, Вилякского, Резекненского и Лудзенского. Даугавпилсский староста одновременно являлся и воеводой Инфлянтии. Чтобы заручиться поддержкой дворянства, польский король наделял помещиков крупными земельными участками. В государственном владении оставалась лишь шестая часть территории Латгале. Остальные земли принадлежали помещикам, а также католической церкви (монастырям). Дворянство в Латгале, как и во всей Польше, пользовалось большим влиянием и правами. Только помещики могли заниматься охотой и рыбной ловлей, держать мельницы и корчмы, а также пользоваться лесными богатствами. Дворянство делилось на три категории:
крупных землевладельцев (магнаты), помещиков средней руки мелкопоместных дворян (шляхта). Магнаты владели огромными земельными территориями с многочисленными имениями. Например, польскому магнату Ходкевичу полностью принадлежало Вилянское староство, которое по своей территории примерно соответствовало современному административному району. В свою очередь шляхтичи либо вообще не имели земельной собственности и состояли на службе у одного из магнатов, либо же их владения были настолько малы, что они могли обработать их собственными силами.
Многие немецкие помещики, чтобы не потерять своих имений, приняли католичество, а часть из них ополячились. Со временем польские магнаты распродали свои владения в Латгале и основная власть в Латгале продолжала оставаться в руках немецкого дворянства. Между помещиками нередко возникали споры о правах на владение, при решении которых на помощь привлекались даже вооруженные отряды.
Земледелие в Латгале находилось на более низком уровне, чем в Видземе или Курземе. Существовавшие порядки не благоприятствовали также производству зерна на продажу. Это тормозило хозяйственное развитие всего региона. В результате многолетних войн в Латгале осталось мало жителей. Для привлечения беглых крестьян из Видземе и Курземе, а также преследовавшихся в России за религиозные убеждения старообрядцев латгальские помещики предоставляли им различные хозяйственные льготы. С ростом численности населения усиливалась эксплуатация крестьян.
В XVII веке в Латгале окончательно укрепился крепостнический строй. Крестьяне делились на две категории:
барщинных крестьян, выполнявших барщинные работы в имении, и чиншевых крестьян, которые платили помещику оброк (чинш) как сельскохозяйственными продуктами, так и деньгами. Однако барщинные крестьяне также были обязаны платить некоторый оброк, а чиншевые крестьяне в период уборки урожая и молотьбы — участвовать в толоках на господских полях. Весьма обременительной для крестьян была гужевая повинность, заключавшаяся в доставке в Вильнюс или Ригу продуктов, производимых в поместьях.
Кроме того, крестьяне должны были платить налог государству с каждого двора, а также налог на содержание армии. Существовали также различные чрезвычайные налоги, необходимо было содержать священнослужителей, церкви и монастыри.
По мере усиления крепостнического гнета в Латгале крестьяне все чаще убегали от своих господ.
Крестьяне в Латгале жили в деревнях. Вся общинная земля в деревне в зависимости от качества была поделена на отдельные участки. Каждому крестьянину на этих участках выделялось по узкой полоске земли, которая в случае смерти хозяина распределялась между наследниками, получавшими еще более узкие делянки (чересполосица). В Латгале не было крупных городов, ремесленное и промышленное производство были развиты слабо, так как доставка продукции в крупные торговые центры была связана с определенными трудностями. Это явилось главной причиной экономической отсталости края. Будучи провинцией Польши, Латгале все больше отдалялась от остальных земель, населенных латышами, в культурном и других отношениях.