UEFI Application - load protocol

今天需要在 app 中讀取 CMOS 資訊
經同事建議後，使用 EFI_CPU_IO_PROTOCOL 來讀取它

由於完全不懂 BIOS 概念
網路上也找不到相關資料
在翻遍了 UDK2014 code base 後
搞了 2 個小時才搞定

希望寫出來的東西不會誤導大眾

xxx.inf

[Protocols]
    gEfiCpuIoProtocolGuid

xxx.c

#include <Protocol/CpuIo.h>
#include <Library/UefiBootServicesTableLib.h>
#include <stdio.h>

EFI_CPU_IO_PROTOCOL *mCpuIo = NULL;

void testReadCMOS()
{
    EFI_STATUS Status;
    UINT8 addr;
    UINT8 data;
    
    Status = gBS->LocateProtocol(&gEfiCpuIoProtocolGuid, NULL, (VOID **)&mCpuIo);  
    if (Status != EFI_SUCCESS) {
        return;
    }
    
    addr = 0x30;
    Status = mCpuIo->Io.Write(
        mCpuIo,
        EfiCpuIoWidthUint8,
        0x70,
        1,
        &addr
    );
    
    if (Status != EFI_SUCCESS) {
        return;
    }
    
    Status = mCpuIo->Io.Read(
        mCpuIo,
        EfiCpuIoWidthUint8,
        0x71,
        1,
        &data
    );
    
    if (Status != EFI_SUCCESS) {
        return;
    }
    
    printf("CMOS 0x30=%X", data); 
}

Golang sync.WaitGroup 備忘

有時候身上有太多專案不是一件好事
特別是當每個專案用的語言都不一樣時

最近在忙一個專案
使用的語言是 C
故這一陣子比較少用 Golang

等到這個專案要開始寫模擬程式時
又要切回 Golang
一時之間還真的轉不過來

就拿 sync.WaitGroup 來說
這是用來控制 goruntime 正常結束的 struct

不過常常隔一陣子寫 Golang
就會把它當成特殊 type 變數
故會忘記傳指標進去 goruntime
導致程式無法正常結束

於是決定來 trace 一下 source code
好加深印象，以後就不會忘記了

我們先來看 Go/src/sync/waitgroup.go
很明顯的是一個 struct 無誤

 
// A WaitGroup waits for a collection of goroutines to finish.
// The main goroutine calls Add to set the number of
// goroutines to wait for. Then each of the goroutines
// runs and calls Done when finished. At the same time,
// Wait can be used to block until all goroutines have finished.
//
// A WaitGroup must not be copied after first use.
type WaitGroup struct {
 noCopy noCopy

 // 64-bit value: high 32 bits are counter, low 32 bits are waiter count.
 // 64-bit atomic operations require 64-bit alignment, but 32-bit
 // compilers do not ensure it. So we allocate 12 bytes and then use
 // the aligned 8 bytes in them as state.
 state1 [12]byte
 sema   uint32
}

接著再來看它提供的 method Add( )
其宣告形式也是一個指標

 
func (wg *WaitGroup) Add(delta int) {
 statep := wg.state()
 if race.Enabled {
  _ = *statep // trigger nil deref early
  if delta < 0 {
   // Synchronize decrements with Wait.
   race.ReleaseMerge(unsafe.Pointer(wg))
  }
  race.Disable()
  defer race.Enable()
 }
        ...
}

希望以後就不會忘記了

happy-go-lucky 計算下班時間

以後不知道要寫什麼文章
就來寫些小程式誕生的故事

今天第一個故事就是計算下班時間的小工具

雖然說身為 RD 的我們不太可能準時下班
但偶爾也會有早來想要早點下班運動的時候

很不巧的我們的刷卡記錄要明天才能查詢
雖然我們可以偶爾不做滿 8個小時
但奉公守法的我還是覺得很不習慣

於是就想要知道大概的上班時間
這樣才能確定要幾點才能下班

後來靈機一動
想要利用電腦開機的時間來當做刷卡時間
理論上刷卡時間一定會在電腦開機之前
故以這個時間當基準一定不會有錯

註：不管是什麼機器，時間都需要校時
以我以前 MIS 的經驗，刷卡機會跟資料庫主機對時
而資料庫主機又會跟 AD Server 對時
AD Server 又會跟外部服務對時
這樣才能確保大家的時間都一致

以 Windows來說
我們可以去 事件檢視器 -> Windows 記錄 -> 系統
尋找一個事件檢視碼為 12 的事件
裡面就會有我們開機的時間

這時候利用 Google 我們查到了 "wevtutil" 這個指令
它可以用來查詢相關的事件並指定 Filter 條件(時間)
由於這個指令會把所有事件都查詢出來
故我們再加上 Find 這個指令
只挑選出 EventID 12 的行數

wevtutil qe system  "/q:*[System[TimeCreated[@SystemTime>='2017-09-10T00:00:00']]]" | 
find /N "12</EventID>"

另外一種解法
EventID 12 有一個特殊欄位
只有 EventID 12 才有

wevtutil qe system /q:Event[EventData[Data[@Name='StartTime']>'2017-09-10T00:00:00']]

出來的結果如下

<Event xmlns='http://schemas.microsoft.com/win/2004/08/events/event'>
<System>
<Provider Name='Microsoft-Windows-Kernel-General' Guid='{A68CA8B7-004F-D7B6-A698-07E2DE0F1F5D}'/>
<EventID>12</EventID>
<Version>0</Version>
<Level>4</Level>
<Task>0</Task>
<Opcode>0</Opcode>
<Keywords>0x8000000000000000</Keywords>
<TimeCreated SystemTime='2017-09-12T01:30:41.749600400Z'/>
<EventRecordID>302816</EventRecordID>
<Correlation/>
<Execution ProcessID='4' ThreadID='8'/>
<Channel>System</Channel>
<Computer> xxxxx </Computer>
<Security UserID='S-1-5-18'/>
</System>
<EventData>
<Data Name='MajorVersion'>6</Data>
<Data Name='MinorVersion'>1</Data>
<Data Name='BuildVersion'>7601</Data>
<Data Name='QfeVersion'>23807</Data>
<Data Name='ServiceVersion'>1</Data>
<Data Name='BootMode'>0</Data>
<Data Name='StartTime'>2017-09-12T01:30:41.125599300Z</Data>
</EventData>
</Event>

好了，食材都有了，就讓我們開始下廚吧

我們利用 Golang os/exec, time, strings 等 package
就可以簡單炒出一盤好菜了

package main

import (
    "fmt"
    "log"
    "os/exec"
    "strings"
    "time"
)

const workTime = 8 * 60 + 75

func getCMDResult(today string) (string, error) {
    subcmd := fmt.Sprintf("wevtutil qe system /q:Event[EventData[Data[@Name='StartTime']^>'%s']]", today)
    cmd := exec.Command("cmd", "/C", subcmd)

    out, err := cmd.Output()
    if err != nil {
        return "", err
    }

    return string(out), nil
}

func getStartTime(log string) string {
    pattern := "'StartTime'>"

    i := strings.Index(log, pattern)
    if i >= 0 {
        start := i + len(pattern)
        out := log[start:start+30]
        return out
    }

    return ""
}

func getHumanTime(t time.Time) string {
    return fmt.Sprintf(
        "%04d-%02d-%02d %02d:%02d",
        t.Year(),
        t.Month(),
        t.Day(),
        t.Hour(),
        t.Minute(),
    )
}

func printWorkTime(startTime string) {
    t1, err := time.Parse(time.RFC3339, startTime)
    if err != nil {
        fmt.Println(err)
        return
    }

    fmt.Println("")
    fmt.Printf("clock in  : %s \n", getHumanTime(t1.Local()))
    fmt.Printf("clock out : %s \n", getHumanTime(t1.Add(time.Duration(workTime)*time.Minute).Local()))
}

func main() {
    t1 := time.Now()
    t2 := time.Date(t1.Year(), t1.Month(), t1.Day(), 0, 0, 0, 0, time.FixedZone("UTC", 0))

    out, err := getCMDResult(t2.Format(time.RFC3339))
    if err != nil {
        log.Fatal(err)
    }

    startTime := getStartTime(out)

    if startTime != "" {
        printWorkTime(startTime)
        return
    }

    fmt.Println("Can't get start time in Windows event log")
}

https://github.com/tylpk1216/go-clockout

大台北行政區圖 DIY

身為一個專業的 RD，最受歡迎的文章居然是大台北行政區圖，真是叫身為 RD 的我情何以堪。

為了不辜負這篇文章的高人氣，還是寫個 note 教大家如何自行 DIY。

01. 下載 QGIS，32 or 64 位元的都可以。
http://www.qgis.org/en/site/forusers/download.html#

02. 下載鄉鎮市區界線，選擇 SHP 格式，並解壓縮到資料夾，裡面的 zip 還要再解壓縮 1次。
https://data.gov.tw/dataset/7441

03. 開啟 QGIS Desktop 2.18.12。

04. 選單 -> Layer -> Add Layer -> Add Vector Layer。

05. Source Type -> File, Encoding -> UTF8, Dataset -> TOWN_MOI_1060525.shp。

06. 因為我們要針對台北市和新北市上不同的顏色，故步驟 5 需要做 2次，此時左邊的 Layers Panel 會有 2 個載入的圖層。

07. 任意選取一個圖層按滑鼠右鍵，選擇 "Filter"，在 Provider specific filter expression 中輸入 "COUNTYID" = 'A' (只顯示台北市)。

08. 在另一個圖層依樣畫葫蘆，但條件改成 "COUNTYID" = 'F' (只顯示新北市)。

09. 接著選取任意圖層按滑鼠右鍵，進入 "Properties"，在 Labels 頁面選擇 "Show labels for this layer"，"Label with" "TOWNNAME"，並可針對 "text" or "Background" 做調整。

10. 使用工具列放大縮小工具，調成適當的大小，並用掌型工具將圖層移動到正中央。

11. 選單 -> Project -> Save as Image。

12. 如果想要做別的縣市，在未 Filter 的圖層上按滑鼠右鍵，選擇 "Open Attrubute Table"，就可以找尋想要縣市的相關資料來做 Filter，建議使用 COUNTRYID，可以少打幾個字，如果不好找到目標，可以在表格上方任一欄位按一下，就可以針對該欄位資料排序，好加速搜尋。

UEFI Application - Python HTTPServer

今天繼續來嘗試 HTTPServer module
但是要記得在 AppPkg\Applications\Python\Efi\config.c 打開 "select" module

實際在執行時，會發生 threading module error
手動 copy PC 版的 threading.py and _threading_local.py 到 EFI\StdLib\lib\python.27

到目前為止，終於可以順利的執行測試程式 
如果執行目錄下沒有 index.html
開啟瀏覽器便會看到執行目錄的檔案列表

不過在點選下載時會發生 content_length 的錯誤
有空再來看看發生什麼事了

test code

import sys
import BaseHTTPServer
from SimpleHTTPServer import SimpleHTTPRequestHandler

HandlerClass = SimpleHTTPRequestHandler
ServerClass = BaseHTTPServer.HTTPServer
Protocol = "HTTP/1.0"

server_address = ('192.168.0.163', 8080)

HandlerClass.protocol_version = Protocol
httpd = ServerClass(server_address, HandlerClass)

print 'Starting httpd...'
httpd.serve_forever()

受限於 UEFI 單工的執行方式
HTTPServer 的效能並不太好
底下是用 ab 測試的數據，提供參考

UEFI Application - Python httplib

原本以為 UEFI 裡的 Python 沒有包含 httplib
無聊鑽進 Lib 資料夾後，居然發現有 "httplib.py"
當然二話不說的跑去 UEFI Shell 下試用

一開始出現了 array 模組不存在的錯誤
在陸續打開了 "_md5", "_sha", "_sha256", "_sha512" 模組後
("socket" 之前就打開了)
終於順利的執行測試程式

另外，如果網址不是 IP 形式
記得設定 EFI\Stdlib\etc\resolv.conf
隨便加入 1 個 DNS Server
我這裡是使用 google DNS Server "8.8.8.8"

底下是測試程式的範例

import httplib

conn = httplib.HTTPConnection("www.example.com")

conn.request("GET", "/")

res = conn.getresponse()

print res.status, res.reason

data = res.read()

print data

conn.close()

有圖有真相

Javascript 正規表示法

https://developer.mozilla.org/en-US/docs/Web/JavaScript/Reference/Global_Objects/RegExp

純 Javascript 中使用正規表示法

regex 是一個正規表示
str 是一個字串
info 是執行 exec 回傳的 array

因為我們有用 "( )" 圈住數字
故 array[1] 會是 123
而 array[2] 會是 456


程式範例

var regex = /(\d+) (\d+)/;
var str = '123 456';
var info = regex.exec(str);

for (var i = 0; i < info.length; i++) {
    console.log(i, info[i]);
}

執行結果

0 '123 456'
1 '123'
2 '456'

如果字串中有 1 個以上要匹配的地方，我們可以考慮使用 flag 'g'
如果忘記加上 'g'，程式便會進入無窮迴圈，因為 regex.lastIndex always = 0

var regex = /(\d+) (\d+)/g;
var str = '123 456; 789 100';

var info;
while ((info = regex.exec(str)) != null) {
    console.log(regex.lastIndex);
    for (var i = 0; i < info.length; i++) {
        console.log(i, info[i]);
    }
}

執行結果

7
0 '123 456'
1 '123'
2 '456'
16
0 '789 100'
1 '789'
2 '100'

UEFI Application - Python socket

在 build Python 時，預設不 support socket module
我們可以在 AppPkg\Applications\Python\Efi\config.c 打開要支援的 module
在這裡我打開了 socket and datetime

不過實際在寫 code 時
遇到 connect 會發生問題
這個問題不只 Python 會發生
應該是說原生的 socket library 就有問題

其實也不能說是問題，而是 UEFI implement socket 的方式
只要對 AppPkg\Applications\Python\Python-2.7.2\Modules\socketmodule.c 做些手腳即可
(提示：修改 socket_connect 這支 function，對判斷 res 回傳值動手腳)

有圖有真相
此範例是在 VMware 下執行
至於要如何在 VMware 下執行 UEFI Shell，那又是另外一個故事了
請參考 https://blog.fpmurphy.com/2014/07/using-vmware-workstation-to-experiment-with-uefi.html

import socket
import sys
import time
import datetime

sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM, socket.IPPROTO_TCP)

server_address = ('192.168.111.1', 8080)

print >>sys.stderr, 'connecting to %s port %s' % server_address
sock.connect(server_address)

try:
    message = "This is the message"
    for x in range(0, 10):
        msg = '%s %02d (%s)' % (str(datetime.datetime.now()), x+1, message)
        print(msg)
        sock.sendall(message)
        time.sleep(2)        
    
finally:
    print("close socket")
    sock.close()

UEFI Application - Python 2.7.2

TianoCore 已經在 AppPkg 下放置了 Python 2.7.2 的 code。

底下是在 UEFI 下執行 Python 的步驟，這裡我使用的是 UDK2014 和 VS2013。

1. build 出 Python.efi 的執行檔，過程中共會遇到 2 種錯誤。
    a. file encoding issue - "Python\PyMod-2.7.2\Python\marshal.c" 只要將這支檔案轉成 Unicode 即可。
    b. variables aren't initialized issue - 問題都是出在 structure pointer variable，just assign NULL to it。
2. copy  AppPkg\Applications\Python\PyMod-2.7.2\Lib\*.py 到  AppPkg\Applications\Python\Python-2.7.2\Lib。
3. 參考 AppPkg\Applications\Python\PythonReadMe.txt 步驟 4，將相關檔案置於對應的目錄。
4. 執行 Python.efi，如果要回到 UEFI Shell，執行 exit()，便會離開 Python 命令列模式。

2018/5/24 更新
後來 TianoCore 有 2 個 commit 分別解決了 step1 的 issue，有興趣的可以看看

de08c53b0f65f212c25f0eea13d6cdf4bd9c7fb4
1ea946d0f9ea7de963545fbe93cc7f781c03d0b2

 有圖有真相。