Mo ya fi ọ̀rọ̀ kan lórí bọọdì ESP32 tí ó jẹ́ $40 yìí, mo sì ṣàlàyé rẹ̀ pẹ̀lú AI.

Iṣoro ti ise agbese yii ni lati yanju

O ko le ka awọn piksẹli pada lati inu ifihan yii lori SPI, ati pe ile-ikawe aworan nigbagbogbo fa taara si panẹli laisi ẹda kankan ninu iranti - nitorinaa ko si aworan ojúkòkòrò lati fi ranṣẹ si ibikibi. Ojutu ni lati ma ṣe iyaworan taara si panẹli. Sketch yii fa sinu Arduino_Canvas, eyiti o tọju iforukọsilẹ fireemu kikun ni PSRAM. Ifipamọ yẹn ni aworan naa, nitorinaa fmt2jpg() yi i pada taara si JPEG.

Idi ti inki ṣe dudu lori funfun

Awọn awoṣe iran ka awọn ami dudu lori abẹlẹ imọlẹ ni igbẹkẹle pupọ ju idakeji lọ, o si dabi iwe lori kamẹra. Awọn bọtini ni a ya lori panẹli kuku ju sinu kanfasi, nitorinaa wọn kii ṣe apakan ti aworan ti AI ri - o gba ohunkohun bikoṣe iyaworan rẹ lori aaye funfun mimọ.

Ṣiṣe awọn ila lati dabi awọn ila

Awọn ohun meji ni lati tọ ṣaaju ki iyaworan ba dabi pen kuku ju dot matrix:

• A ko ko tu kanfasi naa silẹ si iboju lori gbogbo ayẹwo ifọwọkan - iyẹn ti 115 KB lori SPI ni igba kọọkan o si dinku ohun gbogbo. A ya ọkọọkan ila sinu kanfasi naa a si kun lori panẹli lọtọ, eyiti ko na ohunkohun.
• Ila kan nikan pari lẹhin ti panẹli ti dakẹ fun bii 70 milliseconds. Oludari ifọwọkan ko da aaye pada lori gbogbo ibo, ati pe ṣiṣe itọju ibo ofo kọọkan bi ika ti a gbe soke fọ ila naa si awọn aaye ti ko sopọ.

Awọn ipo mẹta, iyaworan kan

Iyaworan rẹ ye labẹ idahun naa, nitorinaa o le tẹ PADA SI IYAWORAN, yi ipo pada, ki o si beere ibeere ti o yatọ nipa sketch kanna. Gẹgẹbi aworan o jẹ awọn ila ati awọn apẹrẹ; ti a beere bi ẹlẹrọ, o di Circuit kan.

Awọn imọran fun awọn abajade to dara

• Stylus capacitive olowo poku ṣiṣẹ dara pupọ ju ika ọwọ lọ.
• Ya nla - kanfasi naa jẹ 240×240, nitorinaa awọn eroja nla diẹ, kii ṣe awọn alaye didan.
• Ko si ijusile ọpẹ. Pa ọwọ rẹ kuro lori gilasi.

Nipa bọọdù MaTouch AI ESP32-S3 2.8"

Gbogbo ise agbese lori oju opo yii nṣiṣẹ lori MaTouch AI ESP32-S3 2.8" TFT ST7789V lati Makerfabs. O jẹ bọọdù gbogbo-ninu-ọkan: iboju ifọwọkan awọ, kamẹra megapixel 3, awọn maikirofoni meji ati ampilifaya agbọrọsọ gidi, gbogbo rẹ ni ESP32-S3 pẹlu 8 MB ti PSRAM. Apapo yẹn ni ohun ti o jẹ ki awọn ise agbese AI wọnyi ṣee ṣe lori bọọdù kan laisi ohunkohun miiran ti a so.

8 MB ti PSRAM ṣe pataki ju eyikeyi nọmba miiran nibi. O jẹ ki bọọdù naa di fireemu kamẹra, awọn aaya diẹ ti ohun ti a gbasilẹ, tabi fọto ti a fi koodu base64 sinu iranti ni akoko kanna - eyikeyi ninu wọn ko baamu ni iranti deede ti ESP32.

Awọn iwe aṣẹ olupese: oju opo wiki Makerfabs.

Awọn pato bọtini

• Proseso: ESP32-S3, mojuto meji 240 MHz, WiFi 2.4 GHz + Bluetooth 5.0
• Iranti: 16 MB flash, 8 MB PSRAM (ti a beere nipasẹ fere gbogbo ise agbese nibi)
• Ifihan: 2.8" IPS, 320×240, awakọ ST7789V, SPI
• Ifọwọkan: GT911 capacitive, tọpa awọn ika marun ni ẹẹkan
• Kamẹra: OV3660, 3 megapixel, titi di 2048×1536
• Awọn maikirofoni: meji INMP441 I2S oni-nọmba mics (tọkọtaya sitẹreo gidi)
• Agbọrọsọ: MAX98357A kilasi-D ampilifaya, 3.2 W sinu 4 Ω
• Ibi ipamọ: iho kaadi microSD (ipo SPI)
• Agbara: USB-C, asopọ batiri JST, ṣaja TP4056, iṣakoso agbara
• Tun lori bọọdù: WS2812B RGB LED, aago akoko gidi ti o ni atilẹyin batiri PCF8563T, ati iwọn epo batiri MAX17048 ti ko wa ninu awọn pato osise

Fi agbara mu lati batiri? Awọn ibudo USB-C meji, ṣaja TP4056 ati iṣakoso agbara ni a ṣalaye ni kikun, pẹlu aworan atọka, ninu nkan idanwo bọọdù — pẹlu iru ibudo ti o gba agbara ati boya iṣakoso yẹ ki o wa ni titan tabi pipa.

Awọn eto Arduino IDE

Awọn eto wọnyi ṣe pataki. Pupọ awọn iṣoro ti eniyan ṣe ijabọ pẹlu bọọdù yii jẹ ọkan ninu awọn wọnyi ti ko tọ, ati pe wọn tun ṣeto nigbati o ba yi ẹya mojuto pada, nitorinaa ṣayẹwo wọn lẹẹkansi lẹhin eyikeyi iyipada.

Awọn ile-ikawe ti a beere

Ise agbese yii nilo gbogbo ile-ikawe ninu tabili ni isalẹ - ko si ohun miiran, ko si ohun ti o kere. Pupọ fi sori ẹrọ taara lati Tools → Manage Libraries ninu Arduino IDE, ṣugbọn GFX Library fun Arduino ni lati fi sori ẹrọ lati faili ZIP. Awọn nọmba ẹya ṣe pataki, nitorinaa jọwọ lo gangan awọn ti a ṣe akojọ.

Fifi ile-ikawe GFX sori ẹrọ lati faili ZIP

1. Ṣe igbasilẹ ZIP naa. O wa ninu igbasilẹ ise agbese yii, tabi o le gba lati ibùdó Arduino_GFX - tẹ bọtini Code alawọ ewe, lẹhinna Download ZIP.
2. Fi pamọ si ibikan ti o le rii lẹẹkansi. Ma ṣe tu ZIP naa.
3. Ninu Arduino IDE, tẹ Sketch → Include Library → Add .ZIP Library.
4. Wa faili ZIP ti o gbasilẹ ki o tẹ Open.
5. IDE fi sori ẹrọ o si jẹrisi ni isalẹ window naa. Ti o ba ti ni ẹya 1.6 ti a fi sori ẹrọ tẹlẹ, pa folda yẹn rẹ kuro lati Documents/Arduino/libraries ni akọkọ, tabi awọn meji yoo tako.

Ṣeto secrets.h

Awọn alaye WiFi rẹ ati eyikeyi awọn bọtini API lọ sinu secrets.h, eyiti o wa ninu igbasilẹ pẹlu awọn iye aaye. Ṣii taabu yẹn ninu Arduino IDE ki o rọpo wọn pẹlu tirẹ.

Gbigba awọn bọtini API rẹ

Ise agbese yii sọrọ si iṣẹ AI awọsanma, nitorinaa o nilo bọtini tirẹ. Ti o ko ba ti ṣe eyi ri, maṣe ṣe aniyan - o jẹ imọran kanna bi ọrọ igbaniwọle ti o ṣe idanimọ akọọlẹ rẹ si iṣẹ naa. O gba iṣẹju diẹ, ẹẹkan.

OpenAI - awọn oju

OpenAI pese awoṣe iran ti o wo awọn aworan. Nikan awọn ise agbese ti o fi aworan ranṣẹ nilo eyi.

1. Lọ si platform.openai.com/api-keys ki o wọle tabi ṣẹda akọọlẹ.
2. Tẹ Create new secret key, fun ni orukọ, ki o ṣẹda.
3. Daakọ lẹsẹkẹsẹ - a fihan rẹ ni ẹẹkan nikan.
4. Ṣii Billing ki o fi iye kirẹditi kekere kun. API naa jẹ isanwo tẹlẹ ati pe o yatọ si eyikeyi ṣiṣe alabapin ChatGPT ti o le ti ni tẹlẹ.

Fi bọtini naa sinu secrets.h bi OPENAI_KEY.

Microsoft Azure Speech - fun gbigbọ ati sisọ

Azure yi ọrọ rẹ pada si ọrọ ati yi idahun pada si ohun. Ipele ọfẹ jẹ ọlọla to fun ohun gbogbo lori oju opo yii.

1. Lọ si portal.azure.com ki o wọle pẹlu akọọlẹ Microsoft kan (ọfẹ kan dara).
2. Ti o ko ba ti lo Azure ri o yoo ri iboju Welcome to Azure ti o funni ni awọn aṣayan mẹta. Mu Start with an Azure free trial - o nilo ṣiṣe alabapin ṣaaju ki Azure yoo jẹ ki o ṣẹda ohunkohun. (Awọn ọmọ ile-iwe yẹ ki o mu Azure for Students dipo: abajade kanna, ko si kaadi ti a beere.) Foju Manage Microsoft Entra ID, eyiti o jẹ nkan miiran patapata.
3. Tẹ Create a resource, wa fun Speech, ki o mu Speech service ti Microsoft ṣe atẹjade.
4. Ku fọọmu naa: eyikeyi ẹgbẹ orisun, eyikeyi orukọ, ki o mu Region kan nitosi rẹ - kọ agbegbe yẹn silẹ gangan bi o ti han, fun apẹẹrẹ eastus.
5. Fun Pricing tier mu F0 (Free). Iyẹn gba laaye bii wakati marun ti ọrọ-si-ọrọ ati idaji miliọnu awọn ohun kikọ ti ọrọ-si-ohun ni oṣu kọọkan.
6. Tẹ Review + create, lẹhinna Create. Duro bii iṣẹju kan, lẹhinna tẹ Go to resource.
7. Ninu akojọ osi ṣii Keys and Endpoint. Daakọ KEY 1 ati Location/Region.

Fi awọn yẹn sinu secrets.h bi AZURE_SPEECH_KEY ati AZURE_REGION.

Ohun ti o na lati ṣiṣẹ

Pupọ diẹ, ṣugbọn kii ṣe ọfẹ, ati pe o yẹ ki o mọ isunmọ ohun ti o n na ṣaaju ki o fi ise agbese kan ṣiṣẹ.

Awọn idiyele yipada, nitorinaa tọju awọn wọnyi bi itọsọna kuku ju agbasọrọ lọ. Gbogbo awọn iṣẹ wọnyi ni oju opo lilo nibiti o le wo ohun ti o ti na, ati pe gbogbo wọn jẹ ki o ṣeto opin inawo - eyiti o tọ lati ṣe ni ọjọ akọkọ.

Yanju iṣoro