亞大傑出講座,邀請群聯電子技術長林緯演講

  • 2024-11-29
  • 公共事務中心
  • 2024年

談「AI教育落地普及,群聯aiDAPTIV+方案可助攻」,降低AI模型建置成本,能加速AI在各行各業普及化

圖為亞大校長蔡進發表示,他邀請群聯技術長林緯來亞大授課,協助亞大推動相關生成式AI教學更完善。
圖為亞大校長蔡進發表示,他邀請群聯技術長林緯來亞大授課,協助亞大推動相關生成式AI教學更完善。

亞洲大學25日上午舉辦傑出講座,邀請群聯電子公司技術長林緯,談「AI教育落地普及,群聯aiDAPTIV+方案可助攻」,實體場和線上吸引大批亞大師生參與。林緯技術長說,「安全、自主、可控」是AI發展的關鍵,該公司所研發系統,能大幅降低AI模型建置成本,對於AI在各行各業普及進程大大加分。

亞大校長蔡進發表示,群聯是世界IC大廠,在快閃記憶體有2000多個專利,想打造「平民版的AI」的決心,非常了不起;林緯技術長所設計的快閃記憶體有30多億個的晶片,負責各大學的產學合作案、先進記憶體的技術,他邀請林緯技術長來亞大授課,協助亞大推動相關生成式AI教學更完善。

林緯技術長指出,生成式AI是20年一次的技術大突破,隨著逐漸普及化,漸漸融入一般民眾的日常活動中。但生成式AI架構從單一模型框架,演變為複雜的多專家系統,高部署成本成為其廣泛採用的重大障礙。大型語言模型從LLM生成文本,到VLM能讀圖片、看圖說故事,未來運用會更為廣泛,如:協助醫師判讀病歷資料等,準確度高,但必須克服的就是訓練大型語言模型的高成本。

圖為群聯技術長林緯指出,亞大導入AI教育,,以VLM為主體,與醫學的結合,是很好的切入點。
圖為群聯技術長林緯指出,亞大導入AI教育,,以VLM為主體,與醫學的結合,是很好的切入點。

林緯技術長說,群聯開發「aiDAPTIV+」技術方案,簡單的說,就是利用NAND Flash來擴展高帶寬記憶體(HBM),進而大幅降低成本。以訓練90B模型為例,原本需要超過3000萬元的建置費用,但採用「aiDAPTIV+」成本不到300萬元,大幅降低AI模型建置成本,對於AI在各行各業普及進程大大加分。

林緯技術長表示,在生成式AI年代,「安全、自主、可控」是企業在導入AI模式型非常重要的三大要素,「aiDAPTIV+」整合硬、軟體的AI模型微調訓練地端解決方案,可讓企業進行AI模型微調運算的過程中,依舊保有資料不外流的安全性,讓機器學習更安全、有保障。將訓練的AI模型塑造成能夠理解特定領域的專業工具,例如:符合律師、會計師、醫師、工程師等特殊領域的AI助理等,提供符合各種專業領域所需的精確服務。

林緯技術長說,「aiDAPTIV+」已導入公家機關、警察局、金融機構、中小企業等客戶,讓AI技術實際落地。要在亞大導入AI教育,與醫學的結合是很好的切入點,以VLM為主體,與AI醫學連結,建立AI教育的資源,可吸引招募外國學生來台,可以提升國際號召力,打造台灣在晶片島、棒球島之外,能成為AI島,有全世界最好的AI資源能夠應用,更能吸引外國學生。

圖為亞大傑出講座,亞大校長蔡進發(前排左)、主講人群聯技術長林緯(前排右),和實體場參與師長合影。
圖為亞大傑出講座,亞大校長蔡進發(前排左)、主講人群聯技術長林緯(前排右),和實體場參與師長合影。