Обновление статуса загрузки прошивки в ArduinoIDE

Co-authored-by: KLASSENTS <klassen@elron.tech>
Co-committed-by: KLASSENTS <klassen@elron.tech>

.gitignore

@@ -1,6 +1,6 @@
-venv/
-venv_win/
-venv_linux/
+venv*/
 build/
 build_win/
 build_linux/
+__pycache__/
+*.xml

README.md

@@ -1,3 +1,21 @@
 # elbear_uploader
 Скрипт программирования памяти MIK32 Амур платы ELBEAR ACE-UNO.
-Загрузчик построчно отправляет указанный при вызове hex-файл прошивки в заданный com-порт. При этом парсинг команд осуществляется на стороне микроконтроллера. Для ускорения процесса прошивки скрипт позволяет при помощи map-файла вырезать из отправляемого hex-файла команды записи данных в неиспользуемую область памяти перед некэшируемой областью. Полный набор опций доступен в справке при запуске скрипта с опцией –-help.
+Загрузчик построчно отправляет указанный при вызове hex-файл прошивки в заданный com-порт. При этом парсинг команд осуществляется на стороне микроконтроллера. 
+
+Для использования загрузчика необходимо:  
+1. Cкачать последнюю актуальную версию загрузчика для нужной операционной системы из `https://gitflic.ru/project/elron-tech/elbear_uploader/release`  
+![Releases](images/Releases.PNG)  
+2. Распаковать скачанный архив на ПК.  
+![Unpacked](images/Unpacked.PNG)  
+3. Подключить устройство к ПК. Открыть диспетчер устройств и посмотреть номер com порта подключенного устройства.  
+![comPort](images/comPort.PNG)  
+4. В распакованной папке, содержащей файл elbear_uploader.exe, открыть терминал. Ввести команду на запуск файла с указанием полного пути до файла, который необходимо загрузить в устройство, а так же номера com порта, к которому подключено устройство.  
+`.\elbear_uploader.exe E:\firmware\firmware.hex --com=COM35`  
+При успешном подключении к устройству в терминале отобразится процесс и результат загрузки файла. В случае неудачного подключения в терминале так же отобразится информация об этом.  
+![command](images/command.PNG)  
+
+Для ускорения процесса прошивки скрипт позволяет при помощи map-файла вырезать из отправляемого hex-файла команды записи данных в неиспользуемую область памяти перед некэшируемой областью. Полный набор опций доступен в справке при запуске скрипта с опцией –-help.
+
+# необходимые для сборки пакеты
+
+ubuntu18.04: zlib1g-dev patchelf scons

build_linux.sh

@@ -1,4 +1,5 @@
 #!/bin/bash
+rm -rf build_linux
 python -m nuitka ./elbear_uploader.py \
 --output-dir=build_linux \
 --output-filename="elbear_uploader" \

elbear_uploader.py

@@ -4,55 +4,66 @@ import argparse
 from sys import exit
 
 TIMEOUT_DEFAULT = 0.1       # sec
-ACK = 0x0F              # МК подтвердил 0b00001111
-NACK = 0xF0             # МК отверг 0b11110000
+
+BYTE_COUNT_POS  = 0         # индекс счетчика байт данных
+ADDRESS_POS     = 1         # индекс адреса в строке hex файла
+RECORD_TYPE_POS = 3         # индекс типа записи
+REC_TYPE_DATA   = 0         # тип записи - данные
+REC_TYPE_EXT_LIN_ADDR = 4   # тип записи - расширенный адрес
+
 COMMAND_PACKAGE_SIZE = b'\x30'       # Команда размера пакета 
 COMMAND_SEND_PACKAGE = b'\x60'       # Команда отправить пакет 
 COMMAND_FULL_ERASE   = 0xBADC0FEE    # Команда очистить чип 
 
+ACK  = 0x0F     # МК подтвердил 0b00001111
+NACK = 0xF0     # МК отверг 0b11110000
+
+
+def send_parsel(data):
+    for attempt in range(10):
+        ser.write(data)             # Отправка данных
+        read_byte = ser.read(1)     # Чтение ACK/NACK
+        response = int.from_bytes(read_byte, "big")
+        if response == ACK:
+            return True
+        elif response == NACK:
+            print("Get NACK. Exit")
+            exit()
+        else:
+            pass
+            # print(f"Invalid answer: {response}. Try again... (Attempt {attempt + 1})")
+    
+    # за 10 раз не получили внятного ответа - устройство не отвечает, выходим
+    print("Device not responding")
+    exit()
 
 def cmd_full_erase():
-    ser.write(COMMAND_FULL_ERASE.to_bytes(4, "big"))
-    read_byte = ser.read(1)         # Прочесть подтверждение получения команды
-    if int.from_bytes(read_byte, "big") == NACK:
-        print("NACK. COMMAND_FULL_ERASE")
-        exit()
+    # отправить команду очистки чипа
+    send_parsel(COMMAND_FULL_ERASE.to_bytes(4, "big"))
+
+    # Если дошли сюда, значит контроллер ответил на команду
     ser.timeout = None              # Выключить таймаут, чтобы дождаться завершения процесса стирания чипа
     read_byte = ser.read(1)         # Прочесть байт ACK/NACK от контроллера
     ser.timeout = TIMEOUT_DEFAULT   # Включить таймаут обратно
-    
     if int.from_bytes(read_byte, "big") == NACK:
         print("NACK. FULL_ERASE FAILED")
         exit()
 
 # Задать размер пакета 
 def cmd_package_size(package_size):
-    ser.write(COMMAND_PACKAGE_SIZE) # Отправить команду размера передаваемого пакета
-    read_byte = ser.read(1) # Прочесть байт ACK/NACK от контроллера
-    if int.from_bytes(read_byte, "big") == NACK:
-        print("NACK. COMMAND_PACKAGE_SIZE")
-        exit()
-    ser.write((package_size - 1).to_bytes(1, "big")) # Если контроллер ответил на команду, послать количество передаваемых байт 
-    read_byte = ser.read(1) # Прочесть байт ACK/NACK
-    if int.from_bytes(read_byte, "big") == NACK:
-        print("NACK. COMMAND_PACKAGE_SIZE")
-        exit()
-    return read_byte == b'\x0f'
+    # Отправить команду размера передаваемого пакета
+    send_parsel(COMMAND_PACKAGE_SIZE) 
+    # Если дошли сюда, значит контроллер ответил на команду. Послать количество передаваемых байт 
+    send_parsel((package_size - 1).to_bytes(1, "big"))
+    return True
 
 # Отправить пакет
 def cmd_send_package(data_package):
     # Команда загрузить пакет
-    ser.write(COMMAND_SEND_PACKAGE)
-    read_byte = ser.read(1) # Прочесть байт ACK/NACK
-    if int.from_bytes(read_byte, "big") == NACK:
-        print("NACK. COMMAND_SEND_PACKAGE")
-        exit()
-    # Отправка пакета
-    ser.write(bytes(data_package)) # Если контроллер ответил на команду, послать пакет 
-    read_byte = ser.read(1) # Прочесть байт ACK/NACK
-    if int.from_bytes(read_byte, "big") == NACK:
-        print("NACK. SEND_PACKAGE")
-        exit()
+    send_parsel(COMMAND_SEND_PACKAGE)
+    # Если дошли сюда, значит контроллер ответил на команду. Отправить пакет
+    send_parsel(bytes(data_package))
+
 
 def printProgressBar (iteration, total, prefix = '', suffix = '', decimals = 1, length = 100, fill = '_', printEnd = "\r"):
     percent = ("{0:." + str(decimals) + "f}").format(100 * (iteration / float(total)))
@@ -66,7 +77,7 @@ DEFAULT_BAUDRATE = 230400
 
 def createParser():
     parser = argparse.ArgumentParser(
-        prog='bootloader.py',
+        prog='elbear_uploader.py',
         description='''Script for writing to external flash on SPIFI interface'''
     )
 
@@ -112,9 +123,6 @@ def createParser():
 parser = createParser()
 namespace = parser.parse_args()
 
-REC_TYPE_DATA           = 0
-REC_TYPE_EXT_LIN_ADDR   = 4
-
 if namespace.hexpath:
     # читаем хекс
     with open(f"{namespace.hexpath}", "r", encoding='utf-8') as f:
@@ -133,18 +141,51 @@ if namespace.hexpath:
             data.append(int(line[i:i+2], 16))
         data_lines.append(data)
     
+    # проверить, что в адресах строк с данными нет пропусков, иначе elbear_bootloader_fw может сработать некорректно
+    while i < (len(data_lines) - 1):
+        # если обе строки содержат данные
+        if (data_lines[i][RECORD_TYPE_POS] == REC_TYPE_DATA) and (data_lines[i+1][RECORD_TYPE_POS] == REC_TYPE_DATA):
+            # если разница адресов текущей и следующей строк больше, чем кол-во байт в текущей строке, 
+            # нужно забить пропуск строками с нулевыми данными
+            address_cur =  (data_lines[i][ADDRESS_POS]<<8) | data_lines[i][ADDRESS_POS+1] 
+            bytesQty_cur = data_lines[i][BYTE_COUNT_POS]
+            address_next = (data_lines[i+1][ADDRESS_POS]<<8) | data_lines[i+1][ADDRESS_POS+1] 
+            missedBytesQty = (address_next - address_cur) - bytesQty_cur
+            while missedBytesQty > 0:
+                # адрес новой строки данных               
+                address_cur += bytesQty_cur
+                # кол-во байт в новой строке
+                # буферы в elbear_bootloader_fw рассчитаны на строки, в которых не более 16 байт данных, поэтому
+                # бьем пропущенные данные по 16 байт
+                if missedBytesQty > 16:
+                    bytesQty_cur = 16 
+                # или пишем все, что осталось
+                else:
+                    bytesQty_cur = missedBytesQty
+                # сформировать новый элемент списка, добавить его контрольную сумму и вставить в общий список
+                #             кол-во байт данных          2 байта адреса               тип записи     нужное кол-во нулей   CRC
+                new_line = [bytesQty_cur, (address_cur >> 8)&0xFF, address_cur&0xFF, REC_TYPE_DATA] + [0] * bytesQty_cur
+                new_line.append((256 - sum(new_line) % 256) % 256)
+                data_lines.insert(i + 1, new_line)
+                # обновить оставшееся количество байт и перейти к следующей строке
+                missedBytesQty -= bytesQty_cur
+                i += 1
+        i += 1    
+
     # убираем из отправки неиспользуемое место, которое сделал *fill*
     if namespace.mappath and namespace.ncsn:
         with open(f"{namespace.mappath}", "r", encoding='utf-8') as f:
             map_lines = f.readlines()
         
         # находим строку, где впервые упоминается некешируемая область
+        no_cache_line_idx = 0
         for i in range(0, len(map_lines)):
             if namespace.ncsn in map_lines[i]:
                 no_cache_line_idx = i
                 break
         
         # от нее поднимаемся выше, пока не наткнемся на *fill*
+        filter_start_addr = filter_stop_addr = 0
         for i in range(no_cache_line_idx, 0, -1):
             if '*fill*' in map_lines[i]:
                 fill_cmd_str = map_lines[i]
@@ -171,17 +212,11 @@ if namespace.hexpath:
 
     ser = serial.Serial(port = namespace.com, baudrate = namespace.baudrate, timeout = TIMEOUT_DEFAULT)
 
+    # проверка подключения устройства
     ping = False
-    for i in range(10): # вместо задержки забрасываем запросами
-        ping = cmd_package_size(15)
-        if ping:
-           break
-
+    ping = cmd_package_size(15) # если устройство не отвечает, дальше этой функции не пройдем  
     if ping:
         print("Device connected")
-    else:
-        print("Device not responding")
-        exit()
 
     if namespace.fullerase:
         print('Erasing memory')
@@ -200,7 +235,7 @@ if namespace.hexpath:
         # printProgressBar(progress, 100, prefix = 'Upload:', suffix = 'Complete', length = 50)
         if time.time() > timestart + resolution:
             timestart += resolution
-            print(f'Uploaded {int(progress)}%')
+            print(f'Uploaded {int(progress)}%', flush=True)
             if progress == 100:
                 all_showed = True