在 OpenCV 空間人工智慧競賽 中,50 個團隊正在使用 OpenCV AI Kit 的人工智慧能力,構建基於樂高的工業製造解決方案。隨著團隊為 4 月 1 日的構建截止日期而努力完成他們的專案,競賽正在如火如荼地進行著。在這篇文章中,我們將介紹社交媒體上的一些最新亮點,並瞭解一些參賽團隊:B-AROL-O 團隊和 WahWahTron 團隊。讓我們開始吧!

#OAKDLiteContest 標籤亮點
- Getafe Poka-Yokers 團隊 將其提升了一個檔次,並在其專案的 樂高套件組裝上運行了 MediaPipe 手部檢測
- B-AROL-O 團隊 一直為他們的專案“ARNEIS:自動識別器、網路啟用、物品分類器”記錄詳細的每週筆記 - 閱讀他們網站上的最新更新
- EyeCan 展示了其 ScaNERF 專案的初步結果,使用樂高建立神經孿生體
- Evtek 正在研究使用傳送帶進行可回收材料分類和分揀,看起來進展順利
- 請關注 Sourdoughers 團隊 的 麵包機器人,它將使用 YOLOv5 監控酸麵包的發酵過程,使其變得美味 [編輯注:Phil 喜歡麵包]

今天(2/17/22)的 OpenCV 每週網路研討會 特色是 LA Inoculum 團隊,他們帶來了結合了樂高、OAK-D-LITE 和細菌科學的培養皿掃描器專案。在 LinkedIn 直播、Twitter、Twitch 和 YouTube 上觀看該集。

團隊簡介:WahWahTron 團隊
你們的專案是什麼?簡要描述一下你們的問題陳述和提出的解決方案
我們團隊的專案試圖解決電子部件回收問題。
每年都會推出全新的電子產品,比如最新的智慧手機、筆記型電腦等。
由於計劃報廢,電子垃圾的數量不斷增加,而諷刺的是,用於製造這些裝置的金屬和礦物質的供應卻在不斷減少。
秉承樂高無限次重複使用和組合的精神,WahWahTron 團隊將透過遊戲的方式突出這一重要的環境問題。
現有的部件回收解決方案,最著名的就是蘋果的 Daisy,但它只針對特定品牌。我們的專案研究瞭如何使用小型、經濟實惠且可擴充套件的元件(如 OAK-D-Lite)構建一個通用的電子部件回收系統,以便在現實世界中進行整合。擬議的解決方案包括構建一個系統,嘗試拆解樂高元件(模擬廢棄的電子產品),並將每個可回收的元件放置到相應的分類容器中以供重複使用。OAK-D-Lite 的快速推理將用於對樂高部件進行分類,深度資訊將用於在 3D 空間中定位部件。
帶有電機抓手的起重機臂和拆卸機構將使用樂高 Mindstorms 機器人發明家套件的 MVP 元件製造。(部件的 3D 位置將從攝像頭的座標系轉換為全域性座標系,以驅動臂的末端執行器。)
你們的團隊起源故事是什麼?你們是如何走到一起的?
我和傑西卡相遇在最令人難以置信的環境中:在貝爾格萊德的藝術家機器學習研討會上。我們立刻開始合作專案。其中一個專案是為布加勒斯特的木偶劇院創作的。最初的想法是使用 Kinect 即時跟蹤木偶,讓學習操縱木偶的孩子們能夠進行既有實體又有數字效果的表演。內建的 Kinect 骨骼跟蹤在如此小的範圍內不起作用:事實證明,現有的模型從未訓練過小於 1.2 米的任何東西。當時,OpenPose 剛剛釋出:我設法從原始碼編譯並執行在當前的 GPU 上,但無法擠出超過 12fps。
時間緊迫,我們測試了各種計算機視覺選項(跟蹤 LED、跟蹤彩色帶等)並放棄,最終找到了一個既快又精確的解決方案:使用慣性測量單元 (IMU) 跟蹤關節方向:這解決了遮擋問題,比如一個角色用手臂抱著另一個角色。傑姆斯·麥克維是一位才華橫溢且富有創造力的電子工程師,他加入了我們的團隊,幫助我從簡單的兩個關節 POC 演變到我們所追求的完整的 10 個關節系統。
你們是如何決定要解決什麼問題的?
我們正在集思廣益,傑西卡的建議將這些片段如此完美地聯絡在一起。考慮到我們所處的環境狀況,這個概念很棒,即使是在玩具規模上
構建可以擴充套件的原型仍然很有價值,並揭示了在此過程中解決問題/創新的挑戰/機會。從概念上講,設計一個能夠拆解另一個系統的系統很有趣。在實踐中,當我們開發專案並重新熟悉樂高(幾十年後,我承認這很難 🙂 )時,我們也發現了伺服精度、扭矩和塑膠強度方面的一些物理限制。總的來說,用最少的資源做盡可能多的事情,這對環境來說是一個好主意,但這同樣適用於比賽。
對你們來說,#OAKDLiteContest 最令人興奮的部分是什麼?
作為成年人,玩樂高確實很有趣,但最令人興奮的部分
是看看我們能用 OAK-D-Lite 裝置實現什麼。
由於它是開源的,因此這是一個很好的機會,可以讓我們在更低級別上了解立體視覺,利用它獲取深度資訊,並嘗試一些可用的最先進的模型。
說到機器學習,這也是一個瞭解完整機器學習管道的機會,從資料集建立一直到最佳化和部署到邊緣裝置。
當你們得知自己被選為決賽選手時,有什麼想法或感受?
很幸運被選為決賽選手!
我們可以再次像孩子一樣玩樂高,並利用 OAK-D-Lite 背後的嚴肅工程技術將它更進一步。要做的樂趣太多了!
到目前為止,你們是否在其他專案中看到了什麼令你們感到驚訝的事情?
簡單地瀏覽一下 #OAKDLiteContest,很高興看到創造力和趣味性閃耀。
我已經看到幾個專案,讓我有了“要是我早點想到就好了”的那種積極的動力。
你們對其他參賽選手有什麼想說的嗎?
我們祝願其他參賽選手一切順利,並繼續努力!只剩下幾周了!
我期待看到最終的結果,以及沒有被採納的想法和過程。
讀者應該在哪裡關注你們,以便更好地瞭解你們的進展?(Twitter、LinkedIn 等)
我們一直對我們的更新非常保密:希望我們很快就能改進這一點。
與此同時,對於任何對計算機的創意使用感興趣的人,你們可以在這裡關注我們
- https://twitter.com/innjesst
- https://www.instagram.com/shedrawswithcode/
- https://www.instagram.com/jhm.nz/
- https://www.youtube.com/c/JamesMcVayNZ/videos
- https://twitter.com/orgicus
- https://www.linkedin.com/in/georgeprofenza/

團隊簡介:B-AROL-O 團隊
你們的專案是什麼?簡要描述一下你們的問題陳述和提出的解決方案
在工業生產線上,物品(根據我們的專業知識,是瓶子)遵循預定義的流程,其中每種型別的物體都有從生產線開始到包裝結束的特定路徑。
想象一個生產線,在最終包裝中需要混合不同的物品。想象一下,對於每個透過網路下訂單的最終客戶,這種混合都是不同的。
ARNEIS(簡稱自動識別器、網路啟用、物品分類器)是我們為上述問題提出的解決方案。
我們設想,這些物品來自不同的生產線,在最終的傳送帶上混合在一起,ARNEIS 系統可以識別所需的物品,並將它們分類到正確的包裝中。
當然,鑑於我們在 BOM 和時間上的限制,無法在 OpenCV 空間人工智慧競賽 的範圍內完全解決上述問題;但是,我們相信識別和分類的基本功能可以透過簡單的嵌入式電子元件、塑膠積木和開原始碼進行測試。
ARNEIS 系統的主要元件如下
眼睛和思想:該專案的一個關鍵元件是視覺系統和分析影像以匹配已知模式的智慧。
攝像頭可以安裝在物品在運輸過程中經過的傳送帶附近。攝像頭影像必須由專用的 CPU 進行分析。從整合的角度來看,工業專案的最佳解決方案是將該 CPU 整合到攝像頭外殼內。
手臂:有幾種從執行的傳送帶上分類物品的解決方案;每種解決方案都針對不同的非功能需求進行了最佳化,例如靈活性、速度和成本。
最簡單的解決方案是使用一個執行器(義大利語為“espulsore”),它可以根據來自PLC的指令,同步地將物品彈出到新的傳送帶上或外部傳送帶上。
指令應同步,並考慮在相機捕捉到幀到執行彈出期間物品在傳送帶上移動的距離。這是我們在OpenCV空間人工智慧競賽第二階段一直在開發的解決方案。
你們的團隊起源故事是什麼?你們是如何走到一起的?
B-AROL-O Bottling Systems團隊的名字來源於幾個事實
- 首先,所有團隊成員都在一家義大利領先的食品和飲料行業包裝機械專業公司全職工作;
- 我們都位於皮埃蒙特,它是義大利最重要的地區之一,以其葡萄園、葡萄酒和烈酒而聞名;
- “巴羅洛”是一種優質紅葡萄酒,由生長在皮埃蒙特一個小區域的葡萄釀造而成,離我們家鄉很近,但聞名遐邇,其瓶裝酒銷往世界各地。
總之,我們選擇了一個標誌性的葡萄酒名稱,它體現了我們的義大利起源,同時也體現了我們在包裝行業的經驗。順便說一下,“阿內斯”(白葡萄酒)和“巴羅洛”(紅葡萄酒)看起來像陰陽,它給了我們燃燒在比賽上的能量!
你們是如何決定要解決什麼問題的?
老實說,我們沒有花太多時間來選擇問題,這也是因為我們是在第一階段截止日期前幾天才瞭解到OpenCV空間人工智慧競賽的。相反,我們選擇了一些我們日常工作中熟悉的東西,試圖使專案符合材料和專案時間表的限制。
對你們來說,#OAKDLiteContest 最令人興奮的部分是什麼?
我們將列出以下內容
- 技術:OAK-D-Lite 是一款很棒的硬體;此外,AI 和 CV 是我們將在本專案中學習的令人興奮的話題
- 圍繞 OpenCV 的社群以及 Luxonis 和所有相關方的強大支援
- 玩樂高積木 - 這裡 Gianpaolo 會補充道:沒有從我孩子那裡偷 🙂
當你們得知自己被選為決賽選手時,有什麼想法或感受?
兩種相反的感覺:快樂和恐懼。
最初我們無法相信我們成功了,因為我們在準備第一階段提交時時間很短。
為什麼快樂?這個訊息真的很令人興奮,我們從未相信我們能收到樂高積木作為聖誕禮物 🙂
此外,在眾多競爭者中脫穎而出,這意味著我們的想法吸引了 OpenCV 社群中的一些經驗豐富的人——這對我們來說已經是一個很大的成就。
為什麼恐懼?我們希望按照ARNEIS 專案計劃交付,但我們知道我們還有很多工作要做,而且我們只有三個人,只有很少的空閒時間。然而,我們相信社群會幫助我們實現目標。順便說一下,ARNEIS 從一開始就是一個開源專案,因此每個人都可以從我們創造的東西中獲益。
到目前為止,你們是否在其他專案中看到了什麼令你們感到驚訝的事情?
當我們向第一階段提交我們的提案時,幸運的是,我們沒有過多地研究在之前幾屆 OpenCV 競賽中開發的專案,否則我們會感到羞愧,並且不會提交它 😉
自從我們被選中繼續參加第二階段以來,我們一直在觀看影片和閱讀部落格文章以學習,我們發現那裡有很多價值和能力,這對我們來說是一個激勵,讓我們盡力做到最好。
你們對其他參賽選手有什麼想說的嗎?
不要害怕,我們只是在互相學習的動力和與樂高和 OpenCV 玩得開心的動力下玩耍。
我們祝願你們有和我們一樣多的樂趣!
讀者應該在哪裡關注你們,以便更好地瞭解你們的進展?(Twitter、LinkedIn 等)
我們建議您關注https://twitter.com/baroloteam,我們會在那裡定期釋出關於 ARNEIS 專案的新聞和每週更新。
如果您對專案的軟體方面更感興趣,您可以訂閱https://github.com/B-AROL-O/ARNEIS或檢視ARNEIS 專案路線圖.
如果您——正如我們希望的那樣——有任何建議或反饋要給我們,請在 Twitter 上私信 @baroloteam,或提交問題或Pull Requests 在 GitHub 上。
目前就到這裡了!
感謝您閱讀我們這一系列亮點和團隊簡介中的第一篇。隨著我們繼續進行構建階段,您將瞭解到更多關於我們競賽中的團隊的資訊。如果您想比其他人更早地看到最新訊息,請訂閱OpenCV 新聞通訊,並在Twitter和LinkedIn上關注#OAKDLiteContest標籤。下次見!






