Культурный, языковой и религиозный калейдоскоп, сформировавший уникальный облик Латгалии, сложился пока этот историко-культурный регион "кочевал" от одного крупного государственного образования к другому. Немаловажным и протяжённым был и польско-литовский период.
Любопытно, что Инфлянты – однокоренное название с Лифляндией, оба они искажают немецкое Livland (земля ливов). Но корень один, а земли стали разные. Нынешняя Латгалия в ходе Ливонской войны в 1559 году стала частью Задвинского герцогства, то есть вошла в Великое княжество Литовское. Большая часть современной Латгалии была оформлена в Венденское воеводство в составе герцогства. А через 10 лет Литовское княжество объединилось с Королевством Польским и возникла Речь Посполитая. Ещё полвека спуcтя, после окончания нескольких польско-шведских войн, согласно Альтмаркскому перемирию Задвинское герцогство разделили на две части с границей по реке Айвиексте. Западная часть территорий, населённых в том числе и латгалами, отошла к Швеции и стала Шведской Ливонией (она же Лифляндия), а восточная часть осталась в составе Речи Посполитой и стала именоваться Инфлянты Польские.
С начала XVII века потомки восточных латгалов, сначала административно, а затем религиозно и культурно были несколько столетий отделены от западных. Формальной датой этого размежевания можно считать 1620 год, когда в составе Речи Посполитой появилось Инфлянтское воеводство (Województwo inflanckie). Центром воеводства был город Динабург (нынешний Даугавпилс), здесь же заседал сеймик – собрание региональных депутатов. В нём была представлена местная землевладельческая знать, а также по два представителя от Литвы и от Польши.
Инфлянтское воеводство все 150 лет своего существования было ареной соперничества Речи Посполитой, Швеции и России. Русские войска даже устанавливали на полтора десятка лет контроль над латгальскими землями, но они вновь вернулись к полякам с литовцами. В 1677 году Сейм Речи Посполитой предоставил воеводству статус княжества.
Территория Латгалии оставалась польско-литовской до первого раздела Польши. В 1772 году согласно секретной конвенции о разделе части территории Речи Посполитой Инфлянтское воеводство было аннексировано Российской империей и его территория стала Двинской провинцией в составе Псковской губернии. Впоследствии латгальские земли вошли в состав Полоцкой губернии, а затем Витебской.
Польская часть истории Латгалии на этом закончилась, оставив значительный культурный, языковой и религиозный след. До сих католическая церковь наиболее заметна в Латгалии, несмотря на полтора столетия пребывания в составе преимущественно православной империи. Название Инфлянты тоже долгое время было в ходу. Густав фон Мантейфель, который был не только исследователем, но и одним из создателей латгальской идентичности, не употреблял слово Латгалия. Этот термин был ему непривычен, и Мантейфель звал землю, которую с любовью и знанием описывал, Инфлянтами.
В 2010 году у Латгалии появился флаг, не ставший официальным, но приобретший народную любовь. Его разработал историк, предприниматель и краевед Марис Румакс, поместивший в центр флага серебряного грифона с мечом. Критики флага особо упирали на то, что гербовый символ связан с Задвинским герцогством и Инфлянтским воеводством, то есть имеет польско-литовские корни. Однако польско-литовский период, его символы, культурное и этнографическое влияние невозможно вычеркнуть из истории Латгалии. Кстати, среди прозваний, которыми латгальцев награждали курземские и видземские латыши, кроме нейтрального "витебцы" и обидного "чангалы" (čangaļi – мякина) было и такое – "инфлянты".