Для настройки разрешения текстового режима необходимо добавить video=HDMI-A-1:[email protected] в строку append файла /boot/extlinux/extlinux.conf
Должно получится так

label kernel-4.4
    kernel /zImage
    fdt /rk3288-miniarm.dtb
    append  earlyprintk console=tty1 root=/dev/mmcblk0p2 rw init=/sbin/init video=HDMI-A-1:[email protected]

Но с этим методом есть проблема, с версии TinkerOS 1.4 при установке данного параметра не запускаются иксы. Потому идем дальше.
Для настройки разрешения в иксах необходимо получить строку конфигурации при помощи утилиты cvt, для этого вызовем утилиту с параметром желаемого разрешения

[email protected]:~# cvt 1024 600
# 1024x600 59.85 Hz (CVT) hsync: 37.35 kHz; pclk: 49.00 MHz
Modeline "1024x600_60.00"   49.00  1024 1072 1168 1312  600 603 613 624 -hsync +vsync

Берем строку Modeline и обрамим ее в секцию конфигурации дисплея, добавим переносы и на выходе получаем следующий блок конфигурации, который необходимо добавить в файл /etc/X11/xorg.conf.d/20-modesetting.conf

Section "Monitor" 
        Identifier "HDMI-1" 
        Modeline "1024x600_60.00"   49.00  1024 1072 1168 1312  600 603 613 624 -hsync +vsync 
        Option "PreferredMode" "1024x600_60.00" 
EndSection